Resumo Técnico: Explicabilidade de LLMs com Cadeias Contrafatuais e Grafos Causais

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) exibem capacidades amplas, porém seus mecanismos de inferência permanecem opacos. Os fatores de decisão são inobserváveis e as explicações geradas frequentemente carecem de fidelidade, o que acarreta riscos em domínios de alto risco, como medicina e direito. Além disso, os métodos de interpretabilidade existentes (ex: análise de atenção, atribuição de características) oferecem insights correlacionais, mas falham em fornecer a evidência causal necessária para explicações fiéis. Ademais, a interpretabilidade mecanística foca em componentes de baixo nível (neurônios, circuitos) que frequentemente não se alinham com os conceitos de alto nível que os stakeholders precisam compreender.

As abordagens causais atuais em LLMs tipicamente modelam estruturas do mundo real (ex: como a mudança no gênero de um autor afeta uma previsão) ou assumem um grafo causal fixo (conceitos $\to$ texto $\to$ previsão). Existe uma lacuna crítica em métodos que recuperem o próprio grafo causal de inferência do LLM: uma estrutura que mapeia como um modelo específico organiza conceitos interpretáveis por humanos para reduzir o texto de entrada a uma previsão (texto $\to$ conceitos $\to$ previsão). Um grande gargalo na recuperação desse grafo é a cobertura de dados; a descoberta causal confiável requer uma amostragem densa de combinações de conceitos, o que é frequentemente impossível ou antiético em cenários do mundo real.

Metodologia

Os autores propõem um pipeline de quatro fases, totalmente automatizado e orientado pelo modelo, para construir grafos causais de nível de conceito para tarefas de classificação. O método utiliza o próprio LLM alvo para extrair conceitos, representar dados e gerar os contrafatuais necessários para uma descoberta causal robusta.

1. Predição de Rótulos

Os rótulos de verdade fundamental (ground-truth) no conjunto de dados são substituídos pelas próprias previsões ($\hat{y}$) do LLM alvo. Isso garante que o grafo resultante reflita o raciocínio interno do modelo, em vez da verdade fundamental do conjunto de dados.

2. Descoberta e Anotação de Conceitos Discriminativos

O framework identifica iterativamente um conjunto de conceitos interpretáveis por humanos ($C$) que diferenciam as classes preditas.

• Extração: O LLM propõe conceitos candidatos baseando-se em lotes (batches) de texto e rótulos preditos.
• Filtragem: Os conceitos são retidos apenas se forem tanto relevantes (presentes no texto) quanto discriminativos (alinhados com um subconjunto estrito de classes, não com todas ou nenhuma).
• Anotação: Cada texto de entrada é mapeado para um vetor de conceito $\phi(x)$, onde cada conceito $c_i$ recebe um valor categórico representando o subconjunto de classes que o modelo percebe que ele apoia.

3. Expansão de Dados Inspirada em MCMC

Para abordar a esparsidade dos dados observacionais no espaço latente de conceitos, os autores introduzem um procedimento de aumento contrafatual inspirado em Markov Chain Monte Carlo (MCMC).

• Processo: Partindo de um texto original, o algoritmo propõe iterativamente perturbações textuais para deslocar o alinhamento de conceitos específicos para longe ou para perto de classes alvo.
• Critério de Aceitação: Um contrafatual proposto é aceito apenas se alcançar o deslocamento conceitual pretendido (alinhamento alvo) e minimizar mudanças indesejadas em conceitos não-alvo (efeitos colaterais mínimos).
• Refinamento: Propostas malsucedidas passam por um refinamento recursivo, onde o LLM é instruído a corrigir violações específicas.
• Resultado: Isso gera um conjunto de dados mais denso ($D_{mcmc}$) que cobre diversas combinações de estados conceituais, permitindo uma descoberta causal estável.

4. Descoberta Causal via $\sigma$-CG

O conjunto de dados expandido e anotado é alimentado no algoritmo $\sigma$-CG, um método de descoberta causal capaz de lidar com variáveis discretas e estruturas potencialmente cíclicas. O grafo direcionado $G$ resultante captura o fluxo causal do texto de entrada, através dos conceitos percebidos pelo LLM, até a previsão final, com restrições garantindo que o texto seja uma raiz e a previsão seja um sumidouro (sink).

Principais Contribuições

1. Paradigma Causal para Explicabilidade Global: O artigo introduz um framework que mapeia o raciocínio do LLM para grafos causais sobre conceitos interpretáveis por humanos, indo além das explicações locais centradas no input para um relato global do mecanismo de inferência.
2. Aumento de Dados Inspirado em MCMC: Um algoritmo inovador que gera contrafatuais para povoar densamente o espaço latente de conceitos, superando o gargalo de cobertura de dados inerente à descoberta causal para modelos de caixa-preta.
3. Protocolo de Avaliação: Um protocolo rigoroso para avaliar a estabilidade estrutural e a fidelidade preditiva na ausência de grafos de raciocínio de verdade fundamental, demonstrando que os pais causais descobertos são preditores superiores de nós em comparação com subconjuntos de conceitos alternativos.

Resultados

O framework foi avaliado em três LLMs (Gemini-2-Flash, Qwen3-14B, gpt-OSS-20B) em três tarefas: Diagnóstico de Doenças (sintética), Análise de Sentimento (IMDB) e LLM-as-a-Judge (Reddit).

• Fidelidade Preditiva: Em todos os cenários, os conjuntos de pais do grafo superaram subconjuntos de conceitos aleatórios na predição tanto do rótulo final quanto dos estados de conceitos intermediários. Na maioria dos casos, os pais baseados no grafo ficaram entre os três principais preditores, confirmando que as estruturas descobertas capturam dependências significativas.
• Raciocínio Específico do Modelo: Em tarefas sintéticas, diferentes modelos convergiram para conceitos explicativos semelhantes (recuperando variáveis de verdade fundamental). No entanto, em dados naturalísticos, os modelos desenvolveram heurísticas latentes e topologias causais distintas, destacando que a seleção do modelo requer a compreensão não apenas do desempenho, mas também do alinhamento do raciocínio.
• Convergência e Estabilidade: A expansão MCMC demonstrou convergência de distribuição, com a divergência de Kullback-Leibler (KL) estabilizando conforme as cadeias se aproximavam do limite inferior teórico de sobreposição perfeita. A estabilidade estrutural foi confirmada conforme a distância de Hamming entre topologias de grafos sucessivos caiu para zero.
• Impacto do Aumento: A expansão contrafatual melhorou significativamente a precisão preditiva em relação aos dados originais isolados, provando a necessidade da etapa de aumento para uma descoberta causal robusta.

Significância e Alegações

O artigo posiciona este trabalho como um passo fundamental em direção à "explicabilidade de nível de conceito" para LLMs. Ao modelar o processo de inferência como um grafo causal sobre conceitos interpretáveis por humanos, os autores argumentam que essa representação oferece uma forma de interpretabilidade mais acessível e acionável tanto para desenvolvedores quanto para especialistas do domínio.

Os autores afirmam modestamente que este trabalho fornece uma fundação para uma nova geração de métodos de explicabilidade orientados ao processo. Eles enfatizam que sua abordagem aborda o desafio específico da esparsidade de dados em espaços latentes através de sua expansão inspirada em MCMC, permitindo a recuperação de estruturas causais globais que eram anteriormente inacessíveis. O trabalho não pretende resolver todos os problemas de interpretabilidade, mas estabelece um pipeline viável para descobrir como os modelos organizam conceitos para tomar decisões, distinguindo entre modelos que podem ter desempenhos semelhantes, mas raciocinam de formas diferentes.