Quantifying Logical Consistency in Transformers via Query-Key Alignment

Os modelos de linguagem de grande escala tornaram-se notavelmente aptos a imitar a conversa humana, escrever poesia e resumir textos complexos. Eles alcançam isso prevendo a próxima palavra em uma frase com base em vastas quantidades de dados de treinamento. No entanto, quando solicitados a resolver um quebra-cabeça de lógica de múltiplas etapas, esses sistemas frequentemente tropeçam. Eles podem gerar uma cadeia de raciocínio convincente que leva a uma conclusão completamente errada, ou podem se distrair com detalhes irrelevantes no comando. Embora pesquisadores tenham encontrado formas de induzir um melhor desempenho desses modelos ao pedir que eles "pensem passo a passo", um problema fundamental permanece: os próprios modelos não possuem uma maneira integrada de verificar se seu próprio raciocínio é realmente coerente. Eles podem produzir um caminho logicamente plausível sem compreender verdadeiramente se os passos se conectam corretamente.

Essa incerteza cria um ponto cego na inteligência artificial. Podemos ver a resposta final que um modelo fornece, mas não podemos facilmente ver os sinais internos que indicam se o modelo está realmente seguindo as regras da lógica ou apenas adivinhando. Para abordar isso, uma equipe de pesquisadores do Instituto de Ciência e Tecnologia de Skolkovo e outras instituições desenvolveu uma nova maneira de espiar dentro da "mente" do modelo durante o processo de raciocínio. Em vez de esperar que o modelo termine sua resposta e depois verificar se ela está correta, eles observam as conexões internas específicas que o modelo faz enquanto ainda está pensando. Eles descobriram que certas partes da arquitetura do modelo atuam como pontos de verificação confiáveis, sinalizando se um passo lógico é válido muito antes de a resposta final ser proferida.

Os pesquisadores focaram em como esses modelos processam informações internamente. Dentro de um modelo de linguagem de grande escala, a informação flui através de camadas de operações matemáticas. No coração desse processo estão os "cabeças de atenção" (attention heads), que atuam como pequenos interruptores que decidem quais partes da entrada são importantes para focar em qualquer dado momento. A equipe descobriu que poderia medir o alinhamento entre dois sinais específicos dentro desses cabeças: o sinal representando a afirmação sendo testada e o sinal representando a resposta potencial. Ao calcular uma pontuação simples baseada em quão bem esses dois sinais se alinham, eles puderam determinar se o modelo reconheceu a conexão lógica entre uma premissa e uma conclusão.

Para testar essa ideia, os pesquisadores realizaram experimentos em uma ampla variedade de tarefas de raciocínio lógico. Eles utilizaram conjuntos de dados sintéticos onde as regras eram claras e as respostas eram definitivamente verdadeiras ou falsas, como determinar se uma personagem chamada Polly é opaca com base em um conjunto de regras fictícias sobre rompus e jompus. Eles também testaram o método em conjuntos de dados mais complexos envolvendo linguagem do mundo real e múltiplas etapas de dedução. Nesses testes, compararam o desempenho do novo método de pontuação interna contra a forma padrão de resposta do modelo, que é simplesmente escolher a opção com a maior probabilidade.

Os resultados mostraram que o método de pontuação interna era significativamente mais confiável do que o próprio palpite final do modelo. Em cenários onde o modelo era apresentado com informações irrelevantes e distrativas, o modelo padrão frequentemente se confundia e dava a resposta errada. No entanto, os sinais internos específicos que os pesquisadores rastreavam permaneciam constantes, identificando corretamente o caminho lógico válido mesmo quando a saída final do modelo estava errada. Isso sugere que o modelo possui, de fato, a capacidade de raciocínio correta profundamente em suas camadas, mas que essa capacidade pode às vezes ser obscurecida por estágios posteriores de processamento ou pelo ruído do contexto distrativo.

A equipe testou essa abordagem em modelos variando de muito pequenos, com 1,5 bilhão de parâmetros, até massivos, com 70 bilhões de parâmetros. Em todos os casos, descobriram que cabeças de atenção específicas atuavam consistentemente como "âncoras de verificação". Essas cabeças podiam distinguir entre inferências válidas e inválidas com alta precisão, independentemente de quantas etapas o raciocínio exigia ou de quantas distrações estivessem presentes. Em alguns casos, a pontuação interna estava correta em mais de 90 por cento das vezes, enquanto a resposta final do modelo estava correta em menos de 60 por cento das vezes. Isso indica que o modelo está frequentemente "sabendo" a resposta correta internamente, mas falhando em expressá-la corretamente em sua saída final.

Uma das descobertas mais significativas foi que este método não requer a alteração ou o retreinamento do modelo. Os pesquisadores podiam simplesmente executar o modelo uma vez, observar os sinais internos e derivar uma pontuação que era frequentemente mais precisa do que a própria previsão do modelo. Isso oferece uma maneira leve e eficiente de avaliar a consistência lógica sem o alto custo computacional dos métodos anteriores, que frequentemente envolviam desativar partes do modelo para ver o que acontecia. O estudo sug maneira de que, ao identificar esses componentes internos específicos, podemos obter uma janela mais clara sobre como a inteligência artificial processa relações complexas, aproximando-nos de sistemas que não são apenas fluentes na linguagem, mas também confiáveis em seu raciocínio.

Os pesquisadores observaram que seu método funciona melhor quando há uma quantidade suficiente de dados para calibrar quais sinais internos específicos devem ser confiáveis para uma determinada tarefa. Eles também reconheceram que esta abordagem não significa que essas partes específicas sejam as únicas responsáveis pela lógica, nem resolve todos os problemas de raciocínio na inteligência artificial. No entanto, o trabalho fornece uma maneira concreta e mensurável de ver onde a lógica se sustenta e onde ela falha, oferecendo uma nova ferramenta para construir modelos de linguagem mais transparentes e confiáveis. Ao focar no alinhamento dos sinais internos em vez de apenas na saída final, o estudo revela que a capacidade de um raciocínio sólido muitas vezes existe dentro do modelo, aguardando para ser devidamente lida.