💬 NLP

Mechanistic Interpretability of Cognitive Complexity in LLMs via Linear Probing using Bloom's Taxonomy

Este estudo demonstra que os Grandes Modelos de Linguagem codificam níveis de complexidade cognitiva definidos pela Taxonomia de Bloom em um subespaço linearmente separável de suas representações internas, alcançando alta precisão de classificação e sugerindo que a dificuldade cognitiva é resolvida precocemente na passagem direta.

Autores originais: Bianca Raimondi, Maurizio Gabbrielli

Publicado 2026-07-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bianca Raimondi, Maurizio Gabbrielli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descobrir como um robô superinteligente pensa. Por muito tempo, os cientistas trataram esses robôs, chamados de Modelos de Linguagem de Grande Escala (LLMs), como caixas pretas mágicas. Você digita uma pergunta e uma resposta perfeita aparece, mas ninguém sabe como o robô chegou lá. É como observar um chef preparar uma refeição gourmet sem nunca ver a cozinha ou os ingredientes. Recentemente, um campo chamado "interpretabilidade mecânica" começou a espiar dentro da cozinha, tentando mapear os circuitos do cérebro do robô. Uma grande questão que eles fazem é: o robô realmente entende a dificuldade de uma tarefa, ou está apenas adivinhando com base nas palavras que vê? Para responder a isso, os pesquisadores usam uma famosa ferramenta educacional chamada "Taxonomia de Bloom". Pense nisso como uma escada de habilidades de pensamento. O degrau inferior é a memória simples (recitar um fato) e o degrau superior é a criatividade de alto nível (projetar algo novo). Se um robô for verdadeiramente inteligente, seus sinais cerebrais internos devem mudar conforme você sobe essa escada, exatamente como o céreão humano faz ao passar de memorizar uma data para resolver um mistério complexo.

Este artigo usa uma lupa para examinar o cérebro do robô para ver se ele organiza seus pensamentos de acordo com essa escada de dificuldade. Os pesquisadores, Bianca Raimondi e Maurizio Gabbrielli, não apenas fizeram perguntas ao robô; eles observaram os sinais elétricos (ativações) dentro do cérebro do robô enquanto ele pensava. Eles testaram quatro cérebros de robôs populares diferentes (Llama, Qwen, Gemma e DeepSeek) usando 1.128 perguntas, variando de tarefas simples de "definir isto" até desafios complexos de "projetar um novo sistema". Eles queriam saber: podemos desenhar uma linha reta simples através dos dados do cérebro do robô para dizer se ele está realizando uma tarefa de memória simples ou uma tarefa criativa complexa?

A resposta é um sim retumbante, e acontece surpreendentemente rápido. A equipe descobriu que, assim que o robô começa a processar uma frase (dentro das primeiras camadas de seu cérebro), ele já sabe o quão difícil é a tarefa. Eles chamam esse momento de "Início da Separável Cognitiva". É como se o robô tivesse um "interruptor de dificuldade" especial que é acionado quase imediatamente. Por volta da camada 5 (de 30 a 36 camadas nesses modelos), os sinais cerebrais do robô para "Lembrar" são tão claramente diferentes de "Criar" que uma ferramenta matemática simples pode diferenciá-los com cerca de 90% de precisão. É como se o robô organizasse seus pensamentos em pilhas limpas e separadas baseadas no quão difícil é o trabalho, e ele faz isso antes mesmo de começar a escrever a resposta.

Ainda mais legal, o robô comete erros de uma forma muito humana. Quando o robô fica confuso, ele geralmente mistura etapas que estão logo ao lado uma da outra na escada. Por exemplo, ele pode confundir "Analisar" com "Avaliar", mas quase nunca confunde "Lembrar" com "Criar". Isso sugere que o robô não está apenas memorizando rótulos aleatórios; ele construiu um mapa mental onde os níveis de dificuldade estão organizados em uma linha suave e ordenada, exatamente como a teoria educacional pretendia.

Para garantir que o robô não estivesse trapaceando ao olhar para pistas simples (como notar que "projetar" geralmente significa "difícil" e "listar" significa "fácil"), os pesquisadores realizaram testes de controle. Eles tentaram adivinhar a dificuldade usando apenas as palavras na página, sem olhar para o céreão do robô. Esses métodos simples de contagem de palavras falharam miseravelmente, obtendo apenas cerca de 73% de precisão e cometendo erros aleatórios e dispersos. Isso prova que o robô está realmente fazendo algo mais profundo do que apenas ler o comando; ele está construindo uma representação interna complexa da dificuldade da tarefa.

Finalmente, a equipe tentou "direcionar" o cérebro do robô. Eles encontraram uma direção específica nos sinais cerebrais do robô que aponta para uma "maior dificuldade". Quando eles deram um empurrão no cérebro do robô nessa direção, as respostas do robô realmente mudaram. Se eles empurrassem uma pergunta simples em direção à direção "criativa", o robô começava a dar respostas mais complexas e analíticas. No entanto, se eles empurrassem demais ou tarde demais no processo, o robô começava a gaguejar e repetir palavras, mostrando que essa "direção de dificuldade" é uma parte real e funcional de como o robô pensa, não apenas um padrão passivo.

Em resumo, este artigo sugere que esses modelos de IA possuem um senso mensurável de complexidade cognitiva integrado. Eles não apenas processam palavras; eles organizam seus pensamentos internos de acordo com uma escada de dificuldade, separando fatos simples de ideias complexas de uma forma estruturada e linear que espelha o aprendizado humano. Esta descoberta nos dá uma nova maneira de espiar dentro da caixa preta e entender que, pelo menos em alguns aspectos, esses modelos estão organizando seus "pensamentos" de forma muito semelhante a nós.

Resumo Técnico: Interpretabilidade Mecanística da Complexidade Cognitiva em LLMs via Probing Linear utilizando a Taxonomia de Bloom

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades em raciocínio complexo e geração, mas seus mecanismos internos permanecem uma "caixa preta". Os atuais frameworks de avaliação dependem fortemente de métricas de desempenho superficiais (ex: correção da resposta), que falham em distinguir entre memorização mecânica e raciocínio genuíno de múltiplos passos. Este artigo aborda a necessidade de avaliar a profundidade cognitiva de LLMs investigando se suas representações neurais internas codificam uma estrutura hierárquica de complexidade cognitiva, especificamente alinhada à Taxonomia de Bloom (Lembrar, Entender, Aplicar, Analisar, Avaliar, Criar). As questões centrais de pesquisa focam em saber se esses níveis cognitivos são linearmente separáveis dentro dos fluxos residuais dos modelos, em que profundidade eles emergem e se essas representações são causalmente ativas durante a geração.

Metodologia

O estudo emprega uma abordagem de interpretabilidade mecanística usando linear probing (sondagem linear) nas ativações do fluxo residual de quatro LLMs de pesos abertos de última geração: Llama-3.1-8B-Instruct, Qwen3-4B-Instruct-2507, gemma-3-4b-it e DeepSeek-R1-Distill-Llama-8B.

Construção do Dataset: Um dataset balanceado de 1.128 perguntas de linguagem natural foi curado, com 188 perguntas por nível da Taxonomia de Bloom (0–5). As fontes incluíram consultas de cursos de Ciência da Computação e o dataset EduQG. O dataset foi subamostrado para garantir o equilíbrio das classes e evitar que vieses estatísticos influenciassem a precisão da sonda.
Extração de Ativação: Para cada modelo, os autores realizaram um forward pass sem ajuste fino (fine-tuning), extraindo o vetor de estado oculto ( $x_l$ ) na posição do último token para cada camada $l$ no fluxo residual.
Linear Probing: Um classificador de regressão logística foi treinado em cada camada para prever o nível de Bloom ( $y \in \{0, \dots, 5\}$ ) a partir dos vetores de ativação extraídos. O uso de uma sonda linear garante que a classificação bem-sucedida reflita informações que são linearmente decodificáveis das representações, em vez de depender da capacidade expressiva de classificadores não lineares.
Experimentos de Controle: Para descartar a possibilidade de a precisão da sonda ser impulsionada apenas por pistas lexicais superficiais (ex: verbos específicos como "definir" vs. "projetar"), os autores compararam seus resultados contra:
- Análise de Comprimento: Verificação de que não há diferenças significativas de comprimento entre os níveis.
- Baselines Rasos: Treinamento de regressão logística em vetores TF-IDF e embeddings de sentenças do texto bruto.
Validação Causal (Direcionamento de Ativação/Steering): Para testar se essas representações são causalmente ativas, os autores definiram vetores de direcionamento (steering vectors) como a diferença entre as ativações médias do nível cognitivo mais alto (Criar) e os níveis inferiores. Esses vetores foram injetados no fluxo residual em várias camadas com diferentes intensidades ( $\alpha$ ) para observar mudanças no nível cognitivo previsto pelo modelo e na natureza qualitativa dos outputs gerados.

Resultados Principais

1. Separabilidade Linear e Início da Separabilidade Cognitiva (CSO)

As sondas lineares alcançaram alta precisão (aproximando-se do desempenho de teto) em todos os modelos, indicando que a complexidade cognitiva é codificada em um subespaço linearmente acessível do fluxo residual.

Profundidade de Emergência: A profundidade cognitiva não é linearmente separável no nível de entrada ou de embedding. Em vez disso, ocorre um Início de Separabilidade Cognitiva (CSO - Cognitive Separability Onset) consistentemente por volta da Camada 5 em diferentes arquiteturas.
Estabilidade: Uma vez atingido o CSO, a precisão da sonda permanece estável ou melhora ligeiramente em camadas mais profundas, sugerindo que a representação da complexidade cognitiva é estabelecida precocemente e preservada, em vez de ser recomputada a cada passo.

2. Estrutura Geométrica e Padrões de Erro

Análise de Centróides: A distância euclidiana entre os centróides de níveis adjacentes de Bloom aumenta monotonicamente com a profundidade, mostrando um desenredamento geométrico progressivo dos níveis cognitivos.
Erros Estruturados: As matrizes de confusão revelam que as classificações incorretas ocorrem predominantemente entre níveis de Bloom adjacentes (ex: Analisar vs. Avaliar). Erros de longo alcance (ex: Lembrar vs. Criar) são raros. Isso sugere que o modelo codifica a profundidade cognitiva como um manifold contínuo e ordenado, em vez de classes discretas arbitrárias, espelhando a estrutura ordinal da teoria educacional humana.

3. Experimentos de Controle

Os baselines rasos de texto (TF-IDF e embeddings de sentenças) alcançaram precisão significativamente menor (~~61–73%) em comparação com as sondas de fluxo residual (~~90%). Além disso, os padrões de erro nos baselines rasos foram ruidosos e não ordinais, enquanto os erros do fluxo residual foram estritamente adjacentes. Isso confirma que a estrutura cognitiva observada não é meramente um reflexo de pistas lexicais superficiais, mas representa uma organização interna e mais profunda do espaço latente do modelo.

4. Validação Causal via Direcionamento (Steering)

Experimentos de direcionamento de ativação demonstraram que perturbar o fluxo residual ao longo da direção cognitiva identificada induz uma mudança sistemática no comportamento do modelo:

Dependência de Camada: O direcionamento em camadas iniciais/intermediárias (ex: Camada 5) resultou em mudanças coerentes no estilo de raciocínio (ex: movendo de listar fatos para analisar relacionamentos). O direcionamento em camadas mais profundas frequentemente levou à degradação da fluência e repetição, sem mudanças significativas no raciocínio.
Dependência de Intensidade: Forças de direcionamento moderadas produziram transições interpretáveis em enquadramentos cognitivos, enquanto forças altas causaram instabilidade.
Magnitude do Deslocamento: As intervenções induziram um deslocamento médio de +1 a +1.5 nos níveis de Bloom previstos pela sonda.

Significância e Alegações

O artigo alega fornecer evidência mecânica direta de que os LLMs organizam espontaneamente suas representações internas para codificar demanda cognitiva hierárquica, abstraída de conteúdo de domínio específico.

Além de Métricas Superficiais: Os achados sugerem que a complexidade cognitiva não é apenas um output comportamental, mas uma propriedade estrutural do espaço latente do modelo, emergindo precocemente no forward pass.
A Taxonomia de Bloom como Lente: O estudo valida a Taxonomia de Bloom como um framework útil não apenas para a educação humana, mas para analisar a mecânica interna da IA, revelando que os modelos alinham sua geometria interna com hierarquias cognitivas definidas por humanos.
Relevância Causal: Ao demonstrar que o direcionamento dessas representações altera o output do modelo, os autores argumentam que essas representações cognitivas são componentes causalmente ativos do processo de geração, e não meros artefatos correlacionais.

Os autores mantêm um escopo modesto, observando que sua análise é atualmente limitada a transformadores apenas de decodificação (decoder-only) e questões educacionais em inglês. Eles postulam que estes resultados lançam as bases para trabalhos futuros no monitoramento e regulação de configurações cognitivas de IA via seus correlatos neurais, movendo-se em direção a padrões de avaliação comparáveis à inteligência humana.