Mechanistic Interpretability of Chain-of-Thought Reasoning via Sequential Activation Patching
Este artigo introduz uma estrutura de patch de ativação sequencial para identificar subcircuitos de cabeças de atenção distribuídos que suportam causalmente o raciocínio de Cadeia de Pensamento em Grandes Modelos de Linguagem, rastreando efeitos temporalmente espalhados através de posições de tokens e validando sua importância funcional por meio de ablação direcionada.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os modelos de linguagem de grande escala são os motores por trás de muitas ferramentas modernas de inteligência artificial, capazes de gerar texto semelhante ao humano, resolver problemas e responder a perguntas. Quando esses modelos enfrentam tarefas complexas, como um problema matemático de enunciado difícil, eles geralmente apresentam um desempenho muito superior se forem primeiro solicitados a escrever seu raciocínio passo a passo antes de fornecer uma resposta final. Essa técnica, conhecida como "prompt de cadeia de pensamento" (chain-of-thought), incentiva o modelo a decompor um problema em partes menores e mais gerenciáveis, de forma muito semelhante a um humano que faria cálculos em um papel de rascunho. No entanto, um mistério persistente era se esses passos escritos estavam realmente ajudando o modelo a pensar ou se eram apenas uma performance polida. Não estava claro se o modelo está verdadeiramente usando o texto intermediário para guiar sua lógica interna ou se está simplesmente gerando palavras plausíveis enquanto depende secretamente de um processo diferente e oculto para chegar à resposta. Compreender essa distinção é crucial porque, se o modelo não estiver realmente raciocinando, suas explicações podem ser enganosas e sua confiabilidade em situações críticas seria questionável.
Para resolver esse enigma, pesquisadores do Instituto de Tecnologia de İzmir decidiram olhar para dentro do "cérebro" do modelo enquanto ele trabalhava. Eles se concentraram em um tipo específico de inteligência artificial chamado transformer, que processa informações através de uma vasta rede de caminhos interconectados. Eles queriam saber exatamente onde e como o processo de cadeia de pensamento altera a atividade interna do modelo. Em vez de apenas observar a saída final, eles usaram uma técnica chamada "patching de ativação" (activation patching). Imagine o estado interno do modelo como um fluxo de dados fluindo através de diferentes salas em um edifício. Em uma execução padrão, o modelo resolve um problema sem escrever seus passos. Em uma execução "limpa", ele resolve o mesmo problema enquanto escreve seus passos. Os pesquisadores pegaram os dados específicos fluindo através de certos caminhos durante a execução "limpa" e os trocaram na execução "padrão". Ao fazer isso, eles puderam ver se injetar os dados do "pensamento" na execução "sem pensamento" faria o modelo subitamente começar a resolver o problema corretamente, como se tivesse recebido os passos ausentes.
A equipe descobriu que a capacidade de raciocínio do modelo não está armazenada em um único ponto isolado, mas está espalhada por uma rede distribuída de caminhos que se ativam em uma sequência específica. Quando substituíram os sinais internos de um modelo que não estava pensando pelos sinais de um modelo que estava, o modelo que não estava pensando começou a se comportar como o que estava pensando. Ele se aproximou da resposta correta e começou a seguir o mesmo caminho lógico. Isso sugere que os prompts de cadeia de pensamento fazem mais do que apenas adicionar texto à tela; eles reorganizam ativamente a computação interna do modelo, direcionando-o para um modo de raciocínio. Os pesquisadores descobriram que esse efeito era mais forte quando trocavam sinais do mesmo problema específico, mas ainda funcionava, embora com menos força, quando trocavam sinais de um problema completamente diferente. Isso indica que o modelo aprendeu padrões gerais de como pensar através de um problema, e não apenas como resolver uma equação específica.
Para confirmar que esses caminhos eram verdadeiramente essenciais, os pesquisadores realizaram um segundo experimento onde simplesmente desligaram os caminhos identificados inteiramente. Quando fizeram isso, o desempenho do modelo colapsou. Ele não apenas errou o número final; ele perdeu a capacidade de manter seu lugar na história, muitas vezes misturando os detalhes do exemplo do problema com a nova pergunta, ou falhando até mesmo em declarar a resposta final no formato esperado. O modelo às vezes repetia a mesma frase repetidamente ou gerava números que não faziam sentido. Essas falhas mostraram que os caminhos identificados pelos pesquisadores não servem apenas para escrever a explicação; eles são os próprios circuitos que mantêm o raciocínio do modelo no trilho, ajudam a separar o exemplo da tarefa real e garantem que ele gere os números corretos.
O estudo também descartou a ideia de que essas melhorias fossem apenas ruído aleatório ou um efeito colateral da mudança de qualquer parte do modelo. Quando os pesquisadores trocaram sinais aleatórios e sem sentido em vez dos sinais de "pensamento" específicos, o modelo não melhorou. Isso confirmou que os sinais específicos carregados por esses caminhos é que importam. Os pesquisadores descobriram que esses caminhos críticos estão concentrados nas seções intermediárias e posteriores das camadas do modelo, em vez de estarem no início ou no fim. Eles atuam como um sistema de suporte que ajuda o modelo a manter seu fio de pensamento, ancorar a resposta final ao número correto e impedir que o exemplo do problema contamine o novo.
Em última análise, o trabalho sugere que o prompt de cadeia de pensamento funciona porque recruta um conjunto específico e distribuído de circuitos internos que são projetados para apoiar o raciocínio passo a passo. Esses circuitos não são um módulo de raciocínio separado que reside à parte do restante do modelo; em vez disso, são componentes sobrepostos que o modelo usa dinamicamente quando lhe é solicitado que pense em voz alta. Quando o modelo não é solicitado a pensar, esses circuitos não estão totalmente engajados, e o modelo tem dificuldade com tarefas complexas. Quando é solicitado, esses circuitos se ativam, guiando o modelo através dos passos necessários para alcançar uma solução. As descobertas fornecem uma imagem mais clara de como essas ferramentas poderosas realmente funcionam, mostrando que sua capacidade de explicar seu raciocínio não é apenas um fenômeno linguístico, mas um reflexo de uma mudança interna genuína na forma como processam a informação.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.