Shared Circuits for Shared Grammar: Tracing Subject-Verb Agreement Across Languages
Ao analisar 29 idiomas em cinco famílias de modelos, este estudo demonstra que modelos de linguagem de grande escala multilingues utilizam circuitos computacionais parcialmente compartilhados para concordância sujeito-verbo, com o grau de sobreposição translinguística aumentando em idiomas que expressam de forma aberta a inflexão morfológica.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Computadores modernos que leem e escrevem em muitos idiomas tornaram-se extraordinariamente habilidosos, muitas vezes traduzindo ou respondendo perguntas em uma dúzia de línguas com um único cérebro. No entanto, apesar de toda a sua fluência, os cientistas não compreendem totalmente como esses sistemas funcionam por dentro. Um mistério central é se um computador multilíngue utiliza um conjunto universal de regras para lidar com a gramática de cada idioma, ou se ele constrói um motor separado e único para cada um. Esta questão é importante porque, se a máquina utiliza a mesma maquinaria interna para diferentes idiomas, então os conhecimentos adquiridos ao estudar uma língua poderiam nos ajudar a compreender todas elas. Se ela constrói motores separados, contudo, o que aprendemos sobre o inglês pode não nos dizer nada sobre como ela lida com o espanhol ou o chinês. O enigma específico que esta pesquisa aborda é como esses modelos lidam com a concordância sujeito-verbo, a regra gramatical que força um verbo a mudar sua forma para corresponder à pessoa que realiza a ação, como mudar "walk" para "walks" quando o sujeito é "he".
Para resolver isso, pesquisadores examinaram como cinco famílias diferentes de modelos de linguagem de código aberto processam essa regra gramatical em vinte e nove idiomas. Eles focaram em um momento específico do processo de pensamento do computador: a fração de segundo antes de prever a última letra ou palavra de um verbo. Ao usar uma técnica que troca os sinais internos de uma frase correta por uma ligeiramente alterada e incorreta, a equipe pôde identificar exatamente quais partes da rede do computador eram responsáveis por acertar a gramática. Eles testaram esse método em idiomas que mudam seus verbos intensamente, como o espanhol, idiomas que não os mudam de forma alguma, como o chinês, e o inglês, que os muda apenas em alguns casos específicos.
A investigação revelou que esses modelos não dependem de motores inteiramente separados para cada idioma, nem utilizam um único motor idêntico para todos. Em vez disso, eles parecem reutilizar um conjunto compartilhado de caminhos internos, mas apenas quando a tarefa exige. Quando os pesquisadores observaram idiomas onde o verbo deve mudar visivelmente para corresponder ao sujeito, descobriram que as mesmas partes específicas da rede do computador estavam ativas em quase todos eles. Esses caminhos compartilhados foram mais consistentes quando o computador tinha que recuperar a diferença exata entre duas formas verbais, como distinguir entre "I walk" e "he walks". Nesses momentos, os modelos pareciam depender de uma circuiteria comum e compartilhada para realizar o cálculo gramatical.
No entanto, esse compartilhamento não é uniforme. Quando os pesquisadores observaram idiomas onde o verbo não muda de forma alguma, os caminhos internos pareciam muito diferentes. O computador não parecia usar a mesma maquinaria compartilhada para esses idiomas. Ainda mais revelador foi o comportamento do inglês. Como o inglês só altera seus verbos na terceira pessoa do singular, a fiação interna do computador parecia diferente da dos idiomas que conjugam intensamente na maior parte do tempo. Mas, no momento em que o computador tinha que produzir aquela forma específica "he walks", sua atividade interna mudava para parecer quase exatamente com os padrões vistos em idiomas que mudam seus verbos constantemente. Isso sugere que o computador não decide usar um motor compartilhado com base no idioma em si, mas sim com base na operação gramatical específica que está realizando naquele momento.
O estudo também examinou como essas partes compartilhadas da rede realmente se comportam. Eles descobriram que os componentes específicos responsáveis pela concordância em diferentes idiomas prestam atenção às mesmas partes da frase. Quando um modelo está decidindo sobre uma forma verbal, esses componentes compartilhados focam sua atenção no pronome sujeito e no próprio verbo, independentemente de o idioma ser espanhol, francês ou o caso específico do inglês. Isso indica que a sobreposição não é apenas uma coincidência de localização; as partes compartilhadas estão, de fato, realizando o mesmo trabalho de rotear informações sobre o sujeito para o verbo.
Em última análise, as descobertas sugerem que computadores multilíngues não estão simplesmente memorizando regras separadas para cada idioma, nem estão usando um sistema único e rígido para tudo. Eles parecem ter uma arquitetura flexível que reutiliza estruturas internas compartilhadas sempre que um idioma exige que a mesma operação gramatical seja realizada visivelmente. O grau em que essas estruturas são compartilhadas depende menos da identidade do idioma e mais de se o idioma força o computador a calcular e exibir explicitamente essa diferença gramatical. Isso fornece uma imagem mais clara de como a inteligência artificial aprende a lidar com as regras complexas e variadas da gramática humana, mostrando que ela constrói seu entendimento reutilizando ferramentas funcionais em vez de construir ferramentas inteiramente novas para cada língua que aprende.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.