Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models

No mundo da inteligência artificial moderna, os computadores aprenderam a ler e escrever estudando vastas bibliotecas de textos humanos. Por muito tempo, essas máquinas entendiam as palavras da mesma forma que um dicionário faria: como entradas estáticas com um significado único e fixo. Se um computador visse a palavra "banco", ele atribuiria a ela uma identidade específica, independentemente de a frase ser sobre um rio ou uma instituição financeira. Essa abordagem funcionava razoavelmente bem para tarefas básicas, mas ignorava uma verdade fundamental da linguagem humana: o significado é fluido. Entendemos uma palavra não apenas pelo que ela é, mas por onde ela aparece. Uma nova geração de modelos de IA, conhecidos como modelos de linguagem transformer, foi construída sobre a ideia de que eles poderiam capturar essa fluidez. Eles foram projetados para mudar sua compreensão de uma palavra dependendo da companhia que ela mantém em uma frase. Mas, embora se acredite amplamente que esses modelos sejam bons nisso, provar isso de forma limpa tem sido difícil. A maior parte das evidências vem de observar o quão bem os modelos performam em testes específicos, o que nos diz que eles são úteis, mas não necessariamente como organizam as palavras dentro de suas próprias mentes.

Uma equipe de pesquisadores da Universidade de Campinas, no Brasil, construiu um conjunto de ferramentas especializado para olhar diretamente dentro dessas máquinas e ver como elas lidam com palavras de múltiplos significados. Eles não pediram ao computador para adivinhar uma definição ou resolver um quebra-cabeça. Em vez disso, criaram um experimento controlado para observar como a representação interna de uma palavra muda conforme o contexto se altera. O trabalho deles não afirma ter resolvido o mistério de como a IA entende a linguagem, nem relata uma descoberta específica sobre como um modelo particular se comporta. Em vez disso, fornece um instrumento rigoroso e repetível — um conjunto de ferramentas e métodos — que permite a outros cientistas fazerem essa pergunta com precisão. Os pesquisadores projetaram um método para fixar a própria palavra e alterar apenas o mundo em que ela aparece, criando uma maneira de isolar o momento exato em que uma máquina separa um significado de outro, caso tal separação exista.

O núcleo de seu método baseia-se em um conceito que chamam de "forma de ponte". Imagine uma única palavra, como "corrente", que pode significar o fluxo de eletricidade, uma conta financeira ou o movimento de águas oceânicas. Em um dicionário padrão, estas são três definições diferentes. No experimento dos pesquisadores, eles tratam "corrente" como um objeto único e imutável que viaja através de três mundos diferentes. Eles reúnem milhares de frases contendo a palavra "corrente" de artigos da Wikipedia sobre física, economia e geografia. Como a palavra é escrita exatamente da mesma forma em cada frase, a compreensão inicial do computador é idêntica. Os pesquisadores então alimentam esses modelos de IA com essas frases e observam o que acontece enquanto a informação viaja mais profundamente pelas camadas da máquina.

O insight fundamental é que, se o modelo realmente entende o contexto, a imagem interna da palavra "corrente" deve parecer diferente quando está cercada por palavras sobre dinheiro em comparação a quando está cercada por palavras sobre rios. Nas primeiras camadas do modelo, a palavra permanece a mesma, tal como é no dicionário. Mas, à medida que a informação avança para as camadas mais profundas, os pesquisadores buscam observar se a versão "eletricidade" da palavra se afasta da versão "dinheiro" no espaço interno do modelo. Para medir esse afastamento, eles utilizam uma ferramenta estatística que calcula quão distantes grupos de pontos estão uns dos outros. Se os pontos representando as frases de física se agruparem firmemente e permanecerem longe dos pontos que representam as frases de economia, isso provaria que o modelo separou com sucesso os significados com base no contexto.

Os pesquisadores projetaram seu kit de ferramentas para evitar armadilhas comuns que confundiram estudos anteriores. Um grande erro é observar o resultado final do processamento de um modelo e assumir que esse é o único lugar onde o significado existe. Alguns estudos anteriores sugeriram que os modelos poderiam separar os significados nas camadas intermediárias e depois trazê-los de volta ao conjunto no final. Para capturar isso, o novo kit de ferramentas verifica cada uma das camadas do modelo, não apenas a última. Outro erro potencial é tentar comparar muitos significados ao mesmo tempo. Se um pesquisador tenta medir a separação entre três ou quatro significados simultaneamente, a matemática pode se tornar distorcida, fazendo com que grupos não relacionados pareçam mais próximos ou mais distantes do que realmente são. Os pesquisadores resolveram isso comparando apenas dois significados por vez, garantindo que a medição seja limpa e direta.

Eles também abordaram a questão de como o computador vê as palavras. A IA moderna não lê palavras como unidades inteiras; ela as divide em partes menores. Às vezes, a mesma palavra pode ser dividida de formas diferentes dependendo de onde aparece na frase. Para garantir que estavam medindo a coisa certa, os pesquisadores utilizaram um método preciso para localizar a parte exata da palavra de seu interesse, correspondendo-a ao texto original caractere por caractere. Isso garante que estejam rastreando a mesma instância da palavra em todos os diferentes contextos, sem confusão causada pela forma como a máquina fragmenta o texto.

O kit de ferramentas produz dois tipos de evidências visuais para ajudar os pesquisadores a entender os resultados. Primeiro, cria um mapa da posição da palavra na mente do modelo no início e no fim. Ao usar um quadro de referência compartilhado para esses mapas, os pesquisadores podem ver se a palavra se moveu ou permaneceu no lugar. Segundo, gera um gráfico que mostra como a separação entre os significados muda conforme a informação percorre as camadas do modelo. Esse gráfico atua como um monitor de batimentos cardíacos para o significado da palavra, mostrando exatamente onde o modelo começa a distinguir os diferentes sentidos.

Este trabalho é significativo porque oferece uma maneira de testar a mecânica interna da IA sem depender da saída final do modelo. Em vez de perguntar: "O modelo obteve a resposta correta?", os pesquisadores perguntam: "O modelo organizou seus próprios pensamentos corretamente?". O kit de ferramentas foi projetado para ser usado por qualquer pessoa que deseje estudar como diferentes tipos de modelos de IA lidam com a linguagem. Ele funciona com várias arquiteturas de modelos, desde aqueles que leem o texto em ambas as direções até aqueles que o leem apenas da esquerda para a direita. Ao fornecer uma maneira padronizada de medir este fenômeno, os pesquisadores esperam possibilitar uma nova onda de estudos que possam comparar modelos de forma justa e compreender os limites de suas habilidades linguísticas.

Os autores ressaltam cuidadosamente que seu kit de ferramentas documenta um instrumento, não uma descoberta. Eles não afirmam que seus testes específicos revelaram uma verdade universal sobre como todos os modelos de IA funcionam, nem apresentam ou interpretam os resultados empíricos da execução do kit em qualquer modelo ou conjunto de palavras específico. Os resultados da execução deste kit dependem do modelo específico sendo testado e do conjunto de palavras escolhido. O que os pesquisadores forneceram foi um método confiável para fazer a pergunta. Eles construíram uma ponte entre a ideia abstrata de "compreensão contextual" e uma realidade concreta e mensurável. Ao manter a palavra constante e variar o mundo ao seu redor, eles criaram uma janela clara para entender como essas máquinas complexas aprendem a distinguir entre o rio e o banco.