💬 NLP

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

Este artigo demonstra que, embora sondas lineares nos estados ocultos de LLMs alcancem alta acurácia ao distinguir tarefas de raciocínio dedutivo, indutivo e abdutivo, essa separação é inteiramente impulsionada por confusões de formato de tarefa, em vez de representações computacionais distintas dos próprios modos de raciocínio.

Autores originais: Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Pergunta: Os Cérebros de IA Têm Diferentes "Modos"?

Imagine que você está tentando descobrir como um chef cozinha. Você percebe que, quando ele faz uma salada, usa um avental verde, e quando grelha um bife, usa um avental vermelho. Você poderia supor: "Ah! O avental verde significa que ele está usando uma 'estratégia de salada', e o avental vermelho significa que ele está usando uma 'estratégia de bife'."

Isso é exatamente o que os pesquisadores têm feito com os Grandes Modelos de Linguagem (LLMs). Eles observam os "estados ocultos" da IA (a atividade cerebral interna dela) e usam um teste simples chamado sonda linear para ver se a IA alterna entre diferentes "modos de raciocínio" (como Dedutivo, Indutivo e Abdutivo), tal como um chef troca de avental.

Por muito tempo, os dados pareceram perfeitos. O "avental verde" (tarefas dedutivas) e o "avental vermelho" (tarefas indutivas) estavam em partes completamente diferentes do cérebro da IA. Os pesquisadores pensaram: "Ótimo! A IA construiu circuitos internos distintos para diferentes tipos de pensamento."

Este artigo diz: "Espere um minuto. Você não está vendo o pensamento; você está vendo o uniforme."

A Investigação: O Que Realmente Está Acontecendo?

Os pesquisadores examinaram mais de perto a IA (especificamente um modelo chamado Qwen3-14B) usando três tipos diferentes de enigmas lógicos:

Dedutivo: Enigmas de lógica (como uma prova matemática).
Indutivo: Questões científicas (encontrar padrões).
Abdutivo: Resolução de mistérios (adivinhar a melhor explicação).

Eles descobriram que a atividade cerebral da IA realmente parecia completamente diferente para cada tipo. Mas eles suspeitavam de um truque.

A Confusão do "Uniforme"

Pense nisso desta forma:

Os enigmas Dedutivos vieram de um site onde cada pergunta tem 4 respostas possíveis e uma história longa.
Os enigmas Indutivos vieram de um site diferente onde cada pergunta também tem 4 respostas possíveis, mas usa termos científicos.
Os enigmas Abdutivos vieram de um terceiro site onde cada pergunta tem apenas 2 respostas possíveis e é muito curta.

Os pesquisadores perceberam que a IA não estava necessariamente mudando seu estilo de pensamento. Em vez disso, ela estava apenas reagindo ao formato da pergunta. Era como o chef usando o avental verde não porque está fazendo uma salada, mas porque a cozinha onde a salada é feita é pintada de verde.

Os Três Testes (O "Trabalho de Detetive")

Para provar sua teoria, os pesquisadores realizaram três testes específicos:

1. O Teste "Remover o Uniforme" (Análise Residual)
Eles pegaram a atividade cerebral da IA e matematicamente "lavaram" os detalhes do formato (como o número de respostas, o comprimento do texto e de qual site a pergunta veio).

Resultado: Uma vez removido o "uniformo" (o formato), o "avental verde" e o "avental vermelho" desapareceram. A atividade cerebral para todas as três tarefas parecia exatamente a mesma. A separação perfeita sumiu, caindo ao nível do acaso.
Analogia: Se você tirar os aventais verdes e vermelhos, o chef parece exatamente o mesmo, esteja ele fazendo salada ou bife.

2. O "Cheque de Comportamento" (Acordo entre Traço e Modo)
Eles observaram as palavras reais que a IA escreveu enquanto resolvia os problemas. A IA realmente agiu de forma diferente ao resolver um enigma de lógica versus um mistério?

Resultado: Não. A IA resolveu todos os três tipos de problemas corretamente (86% de precisão), mas a maneira como ela explicou a solução foi quase idêntica para todos eles. Ela não mudou de estratégia; usou uma "super-estratégia" para tudo.
Analogia: O chef usa exatamente as mesmas habilidades de faca e o mesmo movimento de corte, quer esteja cortando um tomate ou uma cenoura. Ele não está usando uma "técnica de tomate" versus uma "técnica de cenoura".

3. O Teste do "Empurrão" (Direcionamento Causal)
Os pesquisadores tentaram "empurrar" o cérebro da IA em uma direção específica para forçá-la a agir como se estivesse no "Modo Dedutivo" ou no "Modo Indutivo". Eles compararam isso a empurrá-la em uma direção aleatória.

Resultado: Empurrá-la na direção "Dedutiva" não funcionou melhor do que empurrá-la aleatoriamente. A geometria do cérebro não controlava, de fato, o estilo de pensamento.
Analogia: Tentar forçar o chef a trocar de avental dando um empurrão não mudou o que ele cozinhou. O avental era apenas uma coincidência, não a causa do estilo de cozimento.

A Conclusão

O artigo conclui que a alta precisão nesses testes não prova que a IA possui diferentes circuitos de raciocínio interno.

Quando os pesquisadores usam diferentes conjuntos de dados para diferentes tipos de raciocínio (o que é o padrão), a IA aprende a reconhecer o formato do conjunto de dados (o "uniforme") em vez da lógica da tarefa. A "geometria distinta" que os pesquisadores veem no cére even da IA é apenas um reflexo do formato da pergunta, não um reflexo de um modo de pensamento especial.

A Lição Principal:
Só porque o cérebro de uma IA parece diferente para diferentes tarefas, não significa que ela está pensando de forma diferente. Ela pode estar apenas vestindo um uniforme diferente. Para entender verdadeiramente como uma IA raciocina, precisamos remover o formato e ver se o pensamento realmente muda. Neste caso, a IA parece usar uma estratégia poderosa e uniforme para resolver todos os tipos de problemas lógicos, em vez de alternar entre modos especializados.

... blocos são removidos). O pipeline consiste em cinco estágios:

Sondagem Linear por Camada (Layer-wise Linear Probing): Uma sonda de regressão logística é treinada em cada camada para prever o modo de raciocínio a partir dos estados ocultos. A geometria do manifold (dimensionalidade intrínseca, curvatura, contaminação do casco/hull) é analisada na camada de melhor desempenho.
Decomposição de Confundimento de Formato: Um pipeline de análise residual de quatro estágios é introduzido:
- Predição de Origem: Sondagem da identidade da fonte do conjunto de dados para verificar a equivalência com a predição de modo.
- Sonda de Contagem de Opções: Testar se o número escalar de opções (2 vs. 4) separa os modos por si só.
- Comparação Controlada por Formato: Restringir a análise apenas a tarefas de 4 escolhas (LogiQA + ARC).
- Análise de Resíduos: Utilizar regressão Ridge para prever estados ocultos a partir de um vetor de características de formato (origem one-hot, contagem de opções, comprimento da resposta) e remover essa informação linear. A sonda é então reavaliada nos resíduos.
Concordância de Traço-Modo: Os traços de raciocínio gerados pelo modelo são incorporados (embedded) e comparados com descrições âncoras manuais para cada modo. As taxas de concordância são medidas para determinar se o comportamento observável do modelo se adapta ao tipo de tarefa.
Direcionamento Causal com Controles Aleatórios: O direcionamento de ativação (activation steering) é aplicado usando vetores derivados das diferenças de centroide entre os modos. Crucialmente, isso é comparado contra controles de direção aleatória ( $N=20$ ) de magnitude igual para testar se a estrutura geométrica possui um elo causal funcional com o raciocínio ou se qualquer perturbação dessa magnitude produz efeitos semelhantes.

Principais Contribuições

Decomposição de Confundimento de Formato: O artigo introduz um pipeline de análise residual demonstrando que, quando as características de formato (identidade da origem, contagem de opções, comprimento da resposta) são regredidas, a precisão da sonda colapsa para níveis de acaso.
Análise de Concordância de Traço-Modo: Os autores mostram que, embora o modelo atinja alta precisão geral (86%), seus traços de raciocínio exibem apenas 42,5% de concordância com os modos pretendidos (vs. 33,3% de acaso), sugerindo uma falta de adaptação de estratégia.
Controles Causais com Baselines Aleatórios: O estudo implementa controles de direção aleatória para experimentos de direcionamento, um método frequentemente ausente em trabalhos anteriores, para estabelecer que os deslocamentos geométricos observados não estão causalmente ligados ao modo de raciocínio.
Recomendações Metodológicas: O artigo propõe que o deconfundamento de formato e os controles de direção aleatória devem se tornar prática padrão na interpretabilidade baseada em sondagem (probing).

Resultados

1. Separação Perfeita Aparente

Na camada 32 (80% da profundidade da rede), sondas lineares alcançam 100% de precisão de validação cruzada ao distinguir os três modos de raciocínio. A geometria do manifold nesta camada mostra clusters distintos com variadas dimensionalidades intrínsecas (20,6 para dedutivo, 28,5 para indutivo, 33,6 para abdutivo) e contaminação mínima de casco convexo ( $\le 1,5\%$ ).

2. A Separação é Inteiramente Impulsionada pelo Formato

A análise residual reverte o achado inicial:

Equivalência de Origem: Uma sonda prevendo a origem do conjunto de dados atinge 100% de precisão, idêntica à predição de modo.
Contagem de Opções: Uma sonda usando apenas o número de opções atinge 33,3% de precisão (o prior para a classe de 2 escolhas), confirmando que características estruturais são exploráveis.
Colapso de Resíduo: Após remover a informação linear de formato, a precisão da sonda tanto para o modo de raciocínio quanto para a origem do conjunto de dados cai para $\approx 33,5\%$ , indistinguível do acaso. A "geometria do modo de raciocínio" é inteiramente um artefato do formato da tarefa.

3. Estratégia de Raciocínio Uniforme

O modelo atinge 86% de precisão em todos os tipos de tarefas, mas exibe apenas 42,5% de concordância de traço-modo. Isso indica que o modelo não altera substancialmente sua estratégia de raciocínio ao alternar entre tarefas dedutivas, indutivas e abdutivas; ele provavelmente emprega um mecanismo de propósito geral.

4. Nenhum Elo Funcional na Geometria

Experimentos de direcionamento causal revelam que o direcionamento ao longo da direção de diferença de centroide não produz resultados significativamente diferentes em comparação com perturbações aleatórias de mesma magnitude. O p-valor empírico é 0,286, e a injeção de conflito causa colapso de coerência para pares alvo e aleatórios. Isso confirma que a separação geométrica não possui papel causal funcional na seleção de modos de raciocínio.

Significância e Alegações

O artigo argumenta que alta precisão de sonda linear não é evidência suficiente de estrutura computacional interna quando os rótulos de raciocínio são confundidos com as fontes dos conjuntos de dados. As "representações distintas" observadas na literatura anterior são provavelmente artefatos do design de avaliação multi-fonte padrão, e não evidência de circuitos de raciocínio especializados.

Os autores alegam que o modelo raciocina bem em todos os três tipos, mas parece fazê-lo usando uma estratégia amplamente uniforme, em vez de modos computacionais distintos. Consequentemente, o artigo pede uma mudança nas práticas de interpretabilidade mecanística:

Pesquisadores devem relatar a precisão de predição de origem junto com a precisão de predição de modo.
A análise de resíduos para remover características de formato deve ser um controle padrão.
Experimentos de direcionamento devem incluir controles de direção aleatória para verificar a direcionalidade.
Benchmarks futuros devem impor formatos de superfície idênticos através dos tipos de raciocínio para isolar diferenças genuínas de raciocínio.

O estudo conclui que, embora os LLMs possuam capacidades de raciocínio, a suposição de que eles utilizam geometrias internas distintas para diferentes modos de raciocínio não é sustentada quando os confundimentos de formato são devidamente controlados.