A linguagem é um rio de repetição. Em uma única conversa, podemos usar a mesma palavra dezenas de vezes, muitas vezes em poucas frases de distância uma da outra. Quando um humano ouve uma palavra que acabou de ouvir, seu cérebro a processa de forma mais rápida e fácil. Esse fenômeno, conhecido como primagem por repetição (repetition priming), é uma característica fundamental de como aprendemos e lembramos. Isso sugere que a mente não trata cada encontro com uma palavra como um evento totalmente novo; em vez disso, ela mantém um rastro do encontro anterior, tornando o próximo mais fluido. Mas, à medida que a inteligência artificial se tornou mais sofisticada, surgiu uma questão: os grandes modelos de linguagem, os sistemas que alimentam chatbots e ferramentas de busca, funcionam da mesma forma? Quando essas máquinas veem uma palavra que já processaram, elas simplesmente reativam essa memória antiga ou param e reavaliam a palavra do zero?

A resposta é importante porque revela o funcionamento interno desses sistemas. Se um modelo simplesmente reativa uma memória, ele está agindo como um reflexo, uma resposta rápida e automática. Se ele reavalia, está agindo como um pensador cuidadoso, pesando o contexto antes de decidir. Por anos, pesquisadores debateram se essas máquinas possuem uma forma de intuição "rápida" ou se estão sempre engajadas em um raciocínio lento e deliberado. Este novo estudo, conduzido por pesquisadores da Universidade de Yale e da Universidade da Califórnia, Los Angeles, propõe-se a resolver a questão testando como diferentes tipos de modelos de linguagem lidam com palavras repetidas. Eles compararam os modelos base, pré-treinados, contra versões que foram ajustadas para seguir instruções, e realizaram experimentos paralelos com voluntários humanos para ver como as máquinas se comparam a nós.

Os pesquisadores desenharam uma série de testes que espelhavam experimentos clássicos usados na psicologia humana. Eles forneceram palavras e frases para quinze modelos diferentes, variando de sistemas menores com 1,5 bilhão de parâmetros até gigantescos com 14 bilhões. Eles também pediram a quarenta participantes humanos que realizassem as mesmas tarefas. Os testes envolveram duas atividades principais. Na primeira, os sujeitos tinham que decidir rapidamente se uma palavra representava um ser vivo ou um objeto não vivo. Na segunda, eles tinham que completar uma frase com uma palavra ausente, onde a própria frase oferecia pouquíssimas pistas sobre qual deveria ser a palavra faltante. A variável principal era o "atraso" (lag), ou o número de outras palavras e frases que apareciam entre a primeira vez que uma palavra alvo era vista e a segunda vez. Ao alterar essa distância, os pesquisadores puderam ver se o benefício da repetição durava ao longo do tempo ou desaparecia.

Os resultados revelaram uma divisão impressionante na forma como as máquinas processavam a informação. Os modelos base, que são as versões brutas dos sistemas antes de serem ensinados a seguir instruções, comportaram-se com uma espécie de eficiência automática. Quando viam uma palavra que haviam acabado de encontrar, processavam-na de forma mais rápida e confiante, independentemente de quantas outras palavras tivessem aparecido entre elas. Mesmo quando os pesquisadores removiam as respostas anteriores do histórico da conversa, os modelos base ainda mostravam um aumento no desempenho. Isso sugere que, para esses modelos, a repetição desencadeia uma reação rápida e impulsionada pelo estímulo. A própria palavra é suficiente para despertar a memória, tal como um reflexo.

Em contraste, os modelos ajustados por instrução (instruction-tuned) comportaram-se de forma muito diferente. Estas são as versões dos sistemas que foram treinadas para serem assistentes úteis, para seguir regras e para engajar-se em conversas. Quando esses modelos viam uma palavra repetida, não mostravam o mesmo aumento automático. Em vez disso, seu desempenho dependia fortemente do contexto. Se houvesesse muitas palavras entre a primeira e a segunda aparição, o benefício da repetição desaparecia. Pior ainda, nos modelos ajustados por instrução mais amplos e avançados, a repetição tornou-se um obstáculo. Ver a palavra novamente tornava o modelo mais lento e menos preciso, como se a máquina estivesse confusa pela redundância. Isso indica que esses modelos não estão simplesmente reagindo à palavra; eles estão reavaliando-a ativamente com base na conversa circundante. Se o contexto não corresponde às suas expectativas, a repetição parece um erro, causando interferência.

Os pesquisadores também observaram como esses comportamentos mudavam conforme os modelos cresciam. Dentro de uma mesma família de modelos, a lacuna entre os dois tipos aumentava conforme o tamanho crescia. Os modelos base permaneciam consistentes em seu processamento automático, mas os modelos ajustados por instrução tornavam-se cada vez mais sensíveis à distância entre as repetições. Na maior escala, os modelos ajustados por instrução mostraram os sinais mais fortes de interferência, sugerindo que o processo de ensiná-los a seguir instruções altera fundamentalmente a forma como lidam com informações repetidas. Não é apenas uma questão de eles melhorarem nas tarefas; é uma mudança qualitativa em seu modo de operação.

Talvez a descoberta mais surpreendente tenha vindo da comparação entre as máquinas e os voluntários humanos. Os humanos não se encaixavam perfeitamente em nenhuma das categorias. Assim como os modelos ajustados por instrução, os humanos eram sensíveis à distância entre as repetições; seus tempos de reação diminuíam à medida que o atraso aumentava. No entanto, ao contrário dos modelos ajustados por instrução, os humanos nunca sofreram interferência. Não importava o tamanho do intervalo, ver uma palavra novamente sempre os ajudava, nunca os prejudicava. Os humanos ocupavam um meio-termo: eram sensíveis ao contexto como as máquinas avançadas, mas mantinham o benefício universal da repetição que os modelos base demonstravam.

Este estudo sugere que o processo de treinar um modelo de linguagem para ser útil e obediente altera fundamentalmente sua arquitetura cognitiva. Os modelos brutos operam com um sistema rápido e automático que reage às palavras no momento em que aparecem. Os modelos ajustados por instrução, contudo, parecem ter desenvolvido um sistema controlado que verifica constantemente o contexto, às vezes rejeitando a repetição se ela não se ajustar ao fluxo da conversa. Os pesquisadores descobriram que essa mudança não é apenas uma alteração no resultado, mas uma mudança no mecanismo subjacente. Quando olharam dentro dos modelos, viram que os modelos base estavam direcionando a atenção diretamente para a ocorrência anterior da palavra para acelerar sua resposta. Os modelos ajustados por instrução, porém, haviam desacoplado essa atenção da decisão final, filtrando efetivamente o impulso automático.

As implicações deste trabalho estendem-se para além da compreensão de como essas máquinas pensam. Elas destacam uma forma específica pela qual a inteligência artificial atual difere da cognição humana. Embora possamos nos distrair com a repetição em uma longa conversa, nunca perdemos a vantagem básica de já termos visto uma palavra antes. Os modelos ajustados por instrução, em seu esforço para serem conscientes do contexto, perderam esse traço humano fundamental. Tornaram-se tão focados no contexto imediato que às vezes tratam uma palavra familiar como um erro. Esta pesquisa fornece um mapa claro de onde os dois modos de processamento divergem, mostrando que o caminho para tornar uma máquina mais humana na conversação pode ter, inadvertidamente, tornado-a menos humana em seus processos básicos de memória. O estudo não afirma ter resolvido o mistério da inteligência das máquinas, mas oferece uma maneira precisa e mensurável de ver a diferença entre uma máquina que reage e uma máquina que pensa.