Human-Like Anaphor Resolution in Large Language Models

Imagine que você está lendo um romance de mistério. O autor apresenta um personagem chamado "O Padeiro" no primeiro capítulo. Dez páginas depois, a história menciona "ele" novamente. Seu cérebro não apenas adivinha quem é "ele"; ele instantaneamente busca de volta em sua memória, agarra a imagem do Padeiro e conecta os pontos. Esse truque de mágica mental é chamado de resolução de anáfora. É como mantemos o controle de quem ou o que estamos discutindo conforme uma história se desenrola.

Cientistas estudam há muito tempo como fazemos isso. Eles sabem que, se o Padeiro era o foco principal da história (tópico), você o encontra mais rápido. Se "ele" aparece logo após o Padeiro, é fácil. Mas se "ele" aparece após um intervalo longo e confuso, ou se houver outro padeiro por perto para confundir você, seu cérebro tropeça. Agora, conheça os Modelos de Linguagem de Grande Escala (LLMs). Estes são programas de computador superinteligentes treinados em montanhas de texto que podem escrever histórias, responder perguntas e conversar como humanos. Mas aqui está a grande questão. Esses cérebros de IA realmente pensam como cérebros humanos ao resolver esses quebra-cabeças, ou estão apenas sendo muito bons em adivinhar com base em padrões? Este artigo mergulha nesse mistério para ver se a IA e os humanos estão na mesma frequência mental.

---

O Grande Teste de Memória da IA

Os pesquisadores decidiram submeter cinco modelos de IA diferentes — GPT-2-XL, Llama-3.1-8B, Pythia-12B, Mistral-7B e Mistral-24B — a uma série de jogos de memória projetados especificamente para humanos. Eles queriam ver se a IA ficaria cansada, confusa ou lenta exatamente das mesmas formas que um leitor humano ficaria.

Para medir isso, eles usaram dois truques engenhosos. Primeiro, eles observaram a surpresa (surprisal). Pense nisso como o "suor cerebral" da IA. Quando um computador lê uma palavra que não esperava, sua "surpresa" aumenta. Em humanos, a alta surpresa geralmente significa que fazemos uma pausa maior para pensar. Portanto, se a IA ficar "suada" (alta surpresa) nos mesmos momentos em que os humanos travam, é um bom sinal de que eles estão processando a história de forma semelhante. Segundo, eles fizeram perguntas de compreensão à IA, como "Quem chutou a cadeira?", para ver se eles realmente se lembravam da pessoa certa.

Os Jogos de Memória

A equipe realizou três experimentos diferentes, cada um testando uma regra específica da memória humana:

1. O Teste de "Foco" e "Distância"
Imagine um holofote. Se um personagem está sob o holofote (o título da história o menciona), os humanos o encontram facilmente. Se ele está no escuro, é mais difícil. Além disso, se o personagem está a apenas uma frase de distância, é fácil. Se ele está a dez frases de distância, é mais difícil.

• O Resultado: A maioria dos modelos de IA agiu como humanos aqui! Quando o personagem era destacado pelo título e estava próximo, a "surpresa" da IA era baixa e eles respondiam corretamente. Quando o personagem estava escondido e longe, a IA ficava confusa. É como se o tempo de atenção da IA se esticasse e encolhesse exatamente como o nosso.

2. O Teste de "Espaço e Tempo"
Este era mais complexo. Imagine que a história se passa em um castelo gigante. Se o personagem se move da cozinha para a próxima sala (distância curta) ou da cozinha para a torre (distância longa), isso importa? E se ele esperar 10 minutos ou 2 horas? Humanos ficam mais lentos e cometem mais erros quando a lacuna de espaço ou tempo é enorme.

• O Resultado: Os resultados foram mistos. Alguns modelos, como Llama-3.1-8B e Mistral-7B, pareceram sentir o peso da distância e do tempo, ficando "suados" quando a lacuna era longa. Outros não pareceram se importar muito com as lacunas de tempo ou espaço. Isso sugere que, embora algumas IAs estejam começando a entender o "sentimento" da linha do tempo de uma história, outras estão apenas pulando sobre ela.

3. O Teste da "Pista Confusa"
Esta é a parte mais difícil. Imagine que a história menciona uma "cadeira de metal". Mais tarde, diz "o móvel de metal". Isso é fácil. Mas e se a história também mencionar uma "escrivaninha de madeira" (um tipo diferente de móvel) logo antes? Humanos ficam confusos porque "móvel" poderia ser a cadeira ou a escrivaninha. Se o item errado for um exemplo muito típico da categoria (como uma escrivaninha para móveis), isso nos atrasa.

• O Resultado: É aqui que a IA falhou principalmente em agir como um humano. Quando os pesquisadores adicionaram um item "distrator" confuso, os modelos de IA não ficaram mais lentos ou confusos da maneira que os humanos ficam. Eles pareceram passar direto pela confusão. Isso sugere que, embora a IA consiga rastrear onde as coisas estão em uma história, ela não entende bem a competição sobreposta e bagunçada que acontece em nossos cérebros quando tentamos escolher a memória certa.

O Veredito: Uma Correspondência Parcial

Então, qual é a pontuação final? O artigo sugere que esses modelos de IA são seletivamente semelhantes aos humanos. Eles são ótimos em entender como a estrutura de uma história (como a distância de uma palavra ou o que o título diz) afeta a memória. Se você torna a história mais longa ou esconde o personagem, a IA fica um pouco mais "suada", assim como um leitor cansado.

No entanto, eles não são clones perfeitos das mentes humanas. Quando se trata do jogo semântico bagunçado — onde palavras semelhantes lutam pela atenção em nossa memória — a IA não tropeça da maneira que nós fazemos. Eles parecem carecer do tipo específico de "atrito mental" que ocorre quando nossos cérebros têm que escolher entre duas memórias muito semelhantes.

Os autores são cuidadosos ao dizer que isso não é um problema "resolvido". O estudo usou um número relativamente pequeno de histórias (16 a 19), então os resultados são mais como fortes indícios do que provas absolutas. Além disso, a precisão geral da IA nas perguntas foi às vezes bastante baixa, o que significa que eles podem estar acertando por motivos errados. Mas a conclusão é empolgante: esses cérebros digitais estão começando a mostrar os mesmos padrões de dificuldade que os cérebros humanos mostram, pelo menos no que diz respeito à distância e ao foco de uma história. Eles não são apenas máquinas de correspondência de palavras; eles estão começando a mostrar os primeiros sinais de um "modelo de situação" — um mapa mental do mundo da história, tal como nós temos.