Language Models Generalize to Human-like Word Order Preferences

Imagine que você está tentando ensinar um robô a falar uma nova língua, mas decide pregar uma peça nele. Você dá ao robô uma biblioteca enorme de livros, mas remove cuidadosamente cada página que contém uma frase com mais de uma descrição para um substantivo. Assim, o robô aprende que você pode dizer "a bola vermelha" ou "a bola grande", mas ele nunca vê "a bola vermelha grande" ou "a grande vermelha bola". Ele não tem evidência direta de como empilhar várias descrições juntas. Agora, aqui está a grande questão: se você pedir ao robô para adivinhar a ordem para uma nova frase como "a bola vermelha grande", ele apenas adivinhará aleatoriamente? Ou ele conseguirá de alguma forma descobrir a lógica oculta da linguagem e escolher a ordem certa, assim como uma criança humana faria?

Este é o tipo de enigma que reside no coração da linguística e da inteligência artificial. Cientistas há muito tempo se perguntam se os humanos nascem com um "chip de linguagem" especial em seus cérebros que lhes diz como ordenar palavras, ou se apenas aprendemos tudo observando padrões no que ouvimos. Para testar isso, pesquisadores usam algo chamado "Aprendizado de Linguagem Artificial". É como um experimento controlado onde se ensina a pessoas ou máquinas uma linguagem minúscula e inventada, com partes faltando, para ver como elas preenchem essas lacunas. Se um aprendiz escolhe um padrão específico mesmo sem nunca ter visto esse padrão, isso sugere que eles possuem um viés intrínseco ou uma maneira inteligente de adivinhar baseada na estrutura do mundo, não apenas na frequência das palavras. Este artigo mergulha nesse mistério usando modelos de linguagem de IA modernos como nossos sujeitos de teste.

---

O Grande Mistério da Ordem das Palavras

Neste estudo, os pesquisadores Amanda Popadich e Shane Steinert-Threlkeld decidiram ver se programas de computador, conhecidos como modelos de linguagem, poderiam realizar o mesmo truque de mágica que os aprendizes humanos fazem. Eles queriam saber: uma máquina consegue aprender as "regras" de como empilhar adjetivos e números sem nunca ter visto um único exemplo de uma frase empilhada?

A regra específica que eles estavam caçando é chamada de homeomorfismo de escopo (scope-homomorphism). Essa é uma maneira sofisticada de dizer que a ordem das palavras em uma frase deve corresponder à ordem de seu significado. Pense nisso como bonecas russas (matrioskas). Se você tem uma "bola vermelha grande", a palavra "vermelha" descreve a bola diretamente, e "grande" descreve a "bola vermelha". Em inglês, naturalmente colocamos a descrição maior e externa ("grande") primeiro, e a descrição específica e interna ("vermelha") mais próxima do substantivo. Os pesquisadores queriam ver se seus modelos de IA naturalmente prefeririam essa ordem de "boneca russa", mesmo que fossem treinados com uma dieta de apenas frases de descrição única.

O Experimento: Uma Dieta de Linguagem

Para testar isso, a equipe criou um ambiente de treinamento muito rigoroso. Eles pegaram um grande pedaço da internet (especificamente, o despejo de dados da Wikipedia de 2023) e o filtraram. Usaram um programa de computador para encontrar cada frase com um substantivo que tivesse dois ou mais modificadores (como "aqueles dois cachorros peludos") e as separaram. Eles substituíram "aqueles dois cachorros peludos" por exemplos separados como "aqueles cachorros", "dois cachorros" e "cachorros peludos".

O resultado foi uma dieta de "pobreza de estímulo". Os modelos foram alimentados com 100 milhões de palavras, mas nunca viram uma única vez um substantivo com dois modificadores. Eles aprenderam os ingredientes individuais, mas nunca viram o bolo final. Então, os pesquisadores testaram os modelos pedindo que escolhessem entre duas versões de uma frase: a que seguia a lógica da "boneca russa" (homeomórfica de escopo) e a que não seguia.

Eles testaram três tamanhos diferentes de modelos de IA: um pequeno (52 milhões de parâmetros), um médio (110 milhões) e um grande (350 milhões).

Os Resultados: A IA Acerta

As descobertas foram surpreendentemente consistentes. Embora os modelos nunca tivessem visto uma frase com múltiplos modificadores durante seu treinamento, todos os três modelos preferiram consistentemente a ordem de "boneca russa".

Quando os pesquisadores pediram aos modelos para escolher entre "aqueles dois cachorros" (a ordem lógica) e "dois aqueles cachorros" (a ordem embaralhada), os modelos escolheram esmagadoramente a ordem lógica.

• O modelo pequeno acertou cerca de 76% das vezes.
• O modelo médio acertou cerca de 73% das vezes.
• O modelo grande acertou cerca de 70% das vezes.

Isso sugere que os modelos não apenas memorizaram os dados de treinamento; eles generalizaram uma regra. Eles descobriram que, quando se tem múltiplas descrições, existe uma maneira específica e lógica de organizá-las, mesmo sem serem mostrada a resposta. Curiosamente, o tamanho do modelo não mudou muito o resultado; os modelos pequeno, médio e grande mostraram todos esse viés, sugerindo que esta é uma característica robusta de como esses sistemas aprendem a linguagem.

A Reviravolta: Não é Apenas Sobre Pareamento de Palavras

Os pesquisadores então fizeram uma pergunta de acompanhamento: Como os modelos descobriram isso? Uma teoria popular é que os aprendizes apenas observam com que frequência as palavras "andam juntas". Por exemplo, talvez "vermelho" seja geralmente encontrado próximo a "bola", então ele deve estar sempre mais perto do substantivo do que "grande". Isso é medido por algo chamado Informação Mútua de Ponto a Ponto (PMI), que é basicamente uma pontuação de quão fortemente dois termos estão associados.

A equipe checou a matemática. Eles calcularam as pontuações de associação para as palavras em seus dados de treinamento. Descobriram que, sim, os adjetivos estão fortemente associados aos substantivos, e os números e demonstrativos (como "aqueles") são menos associados. Se os modelos estivessem apenas seguindo essas pontuações de associação, eles deveriam ser capazes de prever a ordem das palavras perfeitamente.

Mas aqui está a reviravolta: as pontuações de associação falharam em prever as escolhas dos modelos.

Quando os pesquisadores compararam as escolhas reais dos modelos com o que a matemática previa, a correlação era quase zero. Os modelos estavam escolhend tendo a ordem correta, mas não o faziam porque estavam contando com que frequência as palavras apareciam juntas. Isso sugere que os modelos estão captando algo mais profundo — talvez uma compreensão estrutural de como a linguagem funciona — que vai além da simples estatística de pares de palavras.

O Que Isso Significa

Este estudo mostra que modelos de linguagem podem recuperar generalizações linguísticas semelhantes às humanas a partir de entradas "empobrecidas". Assim como uma criança humana que pode adivinhar a ordem correta das palavras em uma nova língua sem ver todas as combinações possíveis, esses modelos de IA encontraram um padrão que não estava explicitamente em seus dados de treinamento.

No entanto, os autores ressaltam cautelosamente que isso não prova que a IA aprende exatamente da mesma forma que os humanos. Os modelos não são crianças conscientes; são motores estatísticos complexos. Mas o fato de terem desenvolvido esse viés sem serem instruídos sugere que você não precisa necessariamente de um "chip de linguagem" pré-programado para aprender essas regras. Às vezes, as regras da linguagem podem emergir naturalmente da experiência de aprender, mesmo quando a evidência é incompleta.

Os pesquisadores também notaram uma pequena diferença entre a IA e os humanos: enquanto os humanos geralmente mostram a preferência mais forte pela ordenação de demonstrativos e adjetivos (como "aquele cachorro grande"), os modelos de IA mostraram a preferência mais forte por demonstrativos e números (como "aqueles dois cachorros"). Isso indica que, embora a capacidade geral de generalização esteja presente, os "sabores" específicos do viés podem depender dos detalhes dos dados de treinamento.

No fim, este artigo nos oferece uma ferramenta fascinante para entender a linguagem. Ao alimentar modelos de IA com uma dieta de informações faltantes, podemos ver o que eles "adivinham" por conta própria, ajudando-nos a entender se as regras da linguagem são pré-programadas ou aprendidas a partir dos padrões do mundo.