💬 NLP

Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs

Este estudo translinguístico demonstra que, embora o GPT-2 small exiba alguns vieses indutivos semelhantes aos humanos ao distinguir línguas atestadas de línguas tipologicamente impossíveis, esses vieses são imperfeitos e mais fracos do que os encontrados em aprendizes humanos.

Autores originais: Xiulin Yang, Tatsuya Aoyama, Yuekun Yao, Ethan Gotlieb Wilcox

Publicado 2026-06-16

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiulin Yang, Tatsuya Aoyama, Yuekun Yao, Ethan Gotlieb Wilcox

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente e muito rápido que aprende a falar lendo milhões de livros. Cientistas têm discutido se esse robô realmente "entende" a linguagem da mesma forma que os humanos, ou se ele é apenas um papagaio estatístico capaz de imitar qualquer coisa que vê, até mesmo o nonsense.

Alguns críticos dizem que o robô é flexível demais: "Ele pode aprender o palavreado sem sentido tão facilmente quanto o inglês real, então isso não prova nada sobre como os cérebros humanos funcionam."

Este artigo coloca essa ideia à prova. Os pesquisadores perguntaram: Será que este robô consegue distinguir uma linguagem real de uma linguagem inventada e impossível?

Aqui está uma análise dos experimentos deles e do que descobriram, usando algumas analogias do cotidiano.

A Configuração: A "Academia de Linguagem"

Os pesquisadores construíram uma academia para o seu robô (um pequeno modelo de IA chamado GPT-2). Eles não usaram apenas o inglês; eles usaram 12 idiomas diferentes de todo o mundo (como turco, chinês, alemão e árabe) para garantir que os resultados não fossem apenas um acaso de um idioma específico.

Eles criaram dois tipos de "treinos" para o robô:

Línguas Reais: Sentenças normais faladas por humanos.
Línguas Impossíveis: Estas eram sentenças reais que haviam sido embaralhadas. Imagine pegar uma frase como "O gato sentou no tapete" e embaralhar as palavras até que ela ficasse "tapete no o sentou gato o". Ou inverter cada palavra. Estas são "impossíveis" porque nenhum cérebro humano aprenderia ou falaria elas naturalmente.

Eles também testaram Línguas "Não Atestadas". Estas são línguas que poderiam existir logicamente, mas que apenas por acaso nunca foram usadas por humanos. É como uma peça de quebra-cabeça que se encaixa na imagem, mas ninguém jamais a colocou na moldura.

Experimento 1: O Teste do "Ovo Mexido"

A Pergunta: Se você alimentar o robô com uma versão embaralhada de uma língua, ele percebe que ela está quebrada?

A Analogia: Imagine que você está ensinando um cachorro a buscar uma bola. Se você joga a bola, o cachorro busca. Se você joga uma pedra, ele pode até buscar, mas talvez não com tanto entusiasmo. Os pesquisadores queriam ver se o robô "prefere" a bola (linguagem real) em vez da pedra (linguagem embaralhada).

O Resultado:

Na Maioria das Vezes, Sim: Em quase todos os idiomas, o robô aprendeu as sentenças reais muito mais rápido e melhor do que as embaralhadas. Ele ficou "confuso" (medido por uma pontuação chamada perplexidade) quando as palavras estavam na ordem errada.
O Porém: O robô não era perfeito. Às vezes, se o embaralhamento fosse apenas um pouco (como trocar apenas duas palavras), o robô não percebia a diferença tão claramente quanto um humano faria. Era um pouco como uma pessoa que consegue dizer que uma música está fora do tom, mas pode não notar se apenas uma nota estiver levemente errada.

Experimento 2: A "Comparação Global"

A Pergunta: Se misturarmos todos os idiomas reais e todos os idiomas embaralhados, o robô consegue separá-los em dois montes organizados?

A Analogia: Imagine um bibliotecário tentando separar um monte de livros reais de um monte de livros onde as páginas foram arrancadas e coladas de volta aleatoriamente. O bibliotecário consegue dizer qual pilha é qual apenas olhando para os livros?

O Resultado:

Não Perfeitamente: O robô conseguia distinguir a diferença na maioria das vezes, mas não 100%. Alguns dos idiomas embaralhados pareciam tanto com os reais que o robô os confundia.
A Lição: O robô tem uma preferência "suave" por línguas reais, mas não possui as regras estritas e pré-programadas que os cérebios humanos parecem ter. É um pouco como um fã de música que prefere músicas reais em vez de ruído, mas ainda assim apreciaria um remix estranho se ele for cativante o suficiente.

Experimento 3: O "Quebra-Cabeça da Gramática"

A Pergunta: Humanos têm um viés natural para certas ordens de palavras. Por exemplo, em inglês, dizemos "The red car" (Adjetivo-Substantivo). Em algumas outras línguas, dizem "Car vermelho". Mas existem combinações que humanos nunca usam, como "Vermelho carro o". O robô consegue aprender esses padrões estranhos e não utilizados tão bem quanto os normais?

A Analogia: Imagine ensinar uma criança a empilhar blocos. Humanos naturalmente preferem empilhar de uma forma estável (bloco grande embaixo, bloco pequeno em cima). Se você tentar ensinar a empilhá-los de cabeça para baixo, eles terão dificuldade. Os pesquisadores queriam ver se o robô teria dificuldade com o empilhamento "de cabeça para baixo" ou se ele apenas o faria sem reclamar.

O Resultado:

A Parte Confusa: Quando olharam apenas para a velocidade com que o robô aprendia (perplexidade), parecia que ele aprendia as ordens de palavras estranhas e não utilizadas tão facilmente quanto as normais. Era como se o robô não se importasse com as "regras" de estabilidade.
A Revelação: No entanto, quando testaram a capacidade de generalização do robô (aplicar o que aprendeu a novas situações), uma imagem diferente surgiu. O robô na verdade teve um desempenho melhor com as ordens de palavras que os humanos usam naturalmente. Ele mostrou um viés sutil, semelhante ao humano, mas muito mais fraco do que o que vemos em pessoas reais.

O Veredito Final: "Tudo Vale?"

O artigo conclui que o robô não é uma "folha em branco" que pode aprender qualquer coisa igualmente bem.

O Mito do "Tudo Vale": A ideia de que o robô pode aprender o palavreado sem sentido tão facilmente quanto a linguagem real é falsa. O robô mostra alguns instintos "semelhantes aos humanos"; ele prefere línguas reais e tem um pouco mais de dificuldade com as impossíveis.
A Realidade: No entanto, esses instintos são fracos. Eles não são tão fortes ou rígidos quanto as regras dentro de um cérebro humano. O robô é como um aluno muito talentoso que estudou as regras da gramática, mas não possui o "sentimento" inato pela linguagem que os humanos possuem ao nascer.

Em resumo: O robô não é mágico, e não é uma cópia perfeita de uma mente humana. Ele está em algum lugar no meio: ele aprendeu algumas das "regras" da linguagem humana, mas ainda carece da compreensão profunda e intuitiva que torna o aprendizado humano tão único.

Título: Tudo é Permitido? Um Estudo Crosslinguístico sobre a (Im)possibilidade da Aprendizagem de Linguagem em LMs

Problema
Um debate central na linguística computacional diz respeito à extensão em que os Modelos de Linguagem (LMs) servem como modelos válidos da aquisição da linguagem humana. Críticos, incluindo Chomsky et al. (2023) e Moro (2023), argumentam que os LMs carecem das restrições cognitivas específicas do cérebro humano, permitindo-lhes aprender padrões arbitrários e "impossíveis" com a mesma facilidade que as línguas naturais. Se os LMs podem aprender qualquer distribuição de entrada sem viés, seu sucesso em modelar línguas humanas oferece pouco insight sobre a cognição humana. Embora o trabalho anterior de Kallini et al. (2024) tenha sugerido que o GPT-2 small poderia distinguir entre variantes possíveis e impossíveis do inglês, permanecia incerto se esse achado se generaliza através de diversas famílias linguísticas ou se estende a línguas "não atestadas" (estruturas que são teoricamente possíveis, mas tipologicamente raras ou ausentes).

Metodologia
Os autores conduziram uma série de experimentos utilizando modelos GPT-2 small treinados em dois novos corpora paralelos alinhados por sentença, OPUS12 (12 línguas, ~10M de palavras) e OPUS30 (30 línguas, ~0,7M de palavras). Esses corpora foram derivados de cinco fontes (NLLB, TED2020, Bíblia, OpenSubtitles, CCAligned) para garantir a consistência de conteúdo entre as línguas, isolando o efeito das propriedades linguísticas formais na capacidade de aprendizagem.

O estudo abordou três questões de pesquisa por meio de três experimentos:

Atestado vs. Impossível (Intralinguagem): Os modelos foram treinados em 12 línguas naturais e suas variantes "impossíveis". As variantes impossíveis incluíram embaralhamento determinístico (janelas locais, reversão total, separação par-ímpar) e embaralhamento aleatório, seguindo Kallini et al. (2024).
Atestado vs. Impossível (Interlíngua): Os escores de perplexidade de todas as línguas atestadas e impossíveis foram agrupados para determinar se existe uma fronteira de separação global entre línguas naturais e impossíveis.
Atestado vs. Não Atestado: Para testar vieses tipológicos, os autores manipularam as ordens de palavras de Sintagmas Nominais (NP) baseando-se no Universal 20 de Greenberg. Eles criaram ordens "não atestadas" (ex: Adjetivo-Número-Determinante-Substantivo) e ordens "atestadas" dentro de quatro línguas (Inglês, Italiano, Chinês, Português) onde parsers de constituintes estavam disponíveis. O desempenho foi medido via perplexidade e uma métrica de generalização direcionada ( $\Delta$ GenScore), que compara a capacidade de um modelo de atribuir maior probabilidade a sentenças naturais versus perturbadas, independentemente de seus dados de treinamento.

Principais Contribuições

Expansão Multilíngue: Este é o primeiro estudo a testar a hipótese da "língua impossível" através de 12 línguas de 4 famílias linguísticas distintas, indo além do foco exclusivo no inglês de trabalhos anteriores.
Novos Corpora Paralelos: A introdução do OPUS12 e OPUS30 fornece um conjunto de dados controlado para comparação crosslinguística de LMs, abordando problemas de incompatibilidade de conteúdo de estudos anteriores.
Diferenciação de Não Atestado vs. Impossível: O estudo distingue entre línguas "impossíveis" (embaralhadas/revertidas, impossíveis de aprender por definição) e línguas "não atestadas" (tipologicamente raras, mas estruturalmente coerentes), testando se os LMs exibem vieses semelhantes aos humanos em relação à prevalência tipológica.
Métricas de Avaliação: A aplicação do $\Delta$ GenScore para medir a generalização além da simples perplexidade, revelando discrepâncias entre a perda de treinamento e a generalização estrutural.

Resultados

Distinção Intralinguagem: O GPT-2 small distingue amplamente as línguas atestadas de suas contrapartes impossíveis. Em 11 de 12 línguas, a língua natural alcançou menor perplexidade do que suas variantes embaralhadas. No entanto, para algumas línguas (ex: Italiano, Francês), a diferença tornou-se estatisticamente insignificante para certas variantes de embaralhamento local mais adiante no treinamento.
Separação Interlíngua: O modelo não alcança uma separação perfeita entre todas as línguas atestadas e todas as impossíveis. Ao agrupar os resultados, algumas línguas impossíveis (ex: russo ou turco localmente embaralhados) exibiram menor perplexidade do que algumas línguas atestadas (ex: Inglês). Um classificador SVM linear usando perplexidade como característica alcançou um F1 macro de apenas 0,75, indicando sobreposição significativa.
Não Atestado vs. Atestado (Perplexidade): Contrariamente aos vieses de aprendizagem humana, os escores de perplexidade não distinguiram entre ordens de NP tipologicamente atestadas e não atestadas. De fato, algumas ordens não atestadas (que impunham ordens de palavras estritas e normalizadas) resultaram em menor perplexidade do que suas contrapartes atestadas, provavelmente devido à redução da entropia.
Não Atestado vs. Atestado (Generalização): O teste de generalização direcionada ( $\Delta$ GenScore) revelou um padrão diferente. Modelos treinados em línguas atestadas generalizaram consistentemente melhor para ordens de palavras naturais do que modelos treinados em ordens não atestadas. Além disso, modelos treinados em ordens harmônicas (ex: DNAN em Inglês/Chinês) mostraram uma generalização mais consistente do que aqueles treinados em ordens não harmônicas, sugerindo um viés humano fraco que não é capturado pela perplexidade sozinha.

Significância e Alegações
O artigo afirma que os LMs não instanciam uma hipótese de "tudo é permitido"; eles não são aprendizes infinitamente flexíveis. Em vez disso, eles exibem alguns vieses indutivos semelhantes aos humanos, particularmente em sua capacidade de generalizar para ordens de palavras naturais sobre as não atestadas quando avaliados via métricas direcionadas. No entanto, esses vieses são mais fracos e menos universais do que os encontrados em aprendizes humanos. Os autores concluem que, embora os LMs não sejam modelos cognitivos perfeitos, suas arquiteturas incrementais de processamento de dados representam um "ponto de partida útil" para o estudo do processamento de linguagem humana. Os achados sugerem que a lacuna entre LMs e a cognição humana não é absoluta, mas gradual, e que refinar os modelos para melhor alinhá-los às restrições humanas pode gerar insights sobre a arquitetura cognitiva humana. O artigo explicitamente evita afirmar que os LMs replicam totalmente a cognição humana, observando limitações como o uso do GPT-2 small e o potencial de ruído em corpora paralelos gerados automaticamente.

A Configuração: A "Academia de Linguagem"

Experimento 1: O Teste do "Ovo Mexido"

Experimento 2: A "Comparação Global"

Experimento 3: O "Quebra-Cabeça da Gramática"

O Veredito Final: "Tudo Vale?"

Mais como este