Resumo Técnico: Interpretando Modelos de Linguagem de Grande Escala de Caixa-Preta com Paisagens de Energia ao Nível de Sentença

Definição do Problema

A adoção generalizada de Modelos de Linguagem de Grande Escala (LLMs) proprietários, acessados exclusivamente através de APIs fechadas, criou uma barreira crítica para a implantação responsável: uma falta fundamental de interpretabilidade. Embora existam métodos de interpretabilidade de caixa-branca (ex: atribuição baseada em gradiente, visualização de atenção), eles são incompatíveis com sistemas fechados. Além disso, técnicas padrão de atribuição post-hoc agnósticas ao modelo lutam contra modelos generativos devido à natureza altamente dimensional e interativa das saídas de texto e à natureza mal definida de explicar a geração. Alternativas existentes, como a autoexplicação baseada em prompts (ex: Chain-of-Thought), frequentemente sofrem de lógica circular e produzem confabulações não fiéis em vez de revelar caminhos de computação interna reais. O desafio central é identificar quais partes específicas de um prompt do usuário impulsionam um subconjunto específico da saída de um LLM sem acesso aos pesos internos ou gradientes do modelo.

Metodologia

Os autores propõem o ESCI (Energy-Based Concept-Level Surrogate Interpreter), um framework de atribuição agnóstico ao modelo, post-hoc, que opera ao nível de sentença em vez de ao nível de token. A metodologia consiste em duas etapas primárias:

1. Abstração ao Nível de Sentença

O framework trata sentenças como "conceitos"—as menores unidades linguísticas que expressam uma proposição completa. Os prompts de entrada ($x$) e as respostas do LLM ($y$) são segmentados em sentenças e incorporados usando um modelo Sentence-BERT pré-treinado e congelado. Isso desloca a análise de tokens ruidosos para unidades semânticas coerentes, alinhando-se com o "Princípio do Contexto", onde tokens individuais são semanticamente ambíguos sem estrutura proposicional.

2. O Surrogato Baseado em Energia (EBM)

Para aproximar o comportamento do LLM de caixa-preta, os autores treinam um Modelo Baseado em Energia (EBM) baseado em transformer, denotado como $E_{LM}(x, y; \theta)$.

• Arquitetura: O EBM processa embeddings de sentença através de uma projeção de "espaço de conceitos" (usando auto-atenção) e um módulo de interação entrada-saída (usando cross-attention). Ele produz um valor escalar de energia que representa a compatibilidade entre um prompt e uma resposta.
• Objetivos de Treinamento: O EBM é treinado usando uma perda contrastiva de objetivo duplo:
  • Fidelidade ($L_{fidelity}$): Uma perda InfoNCE que distingue pares prompt-resposta autênticos de negativos globais (ex: respostas humanas ou saídas de outros LMs) para capturar a assinatura de geração global do LLM alvo.
  • Dependência Local ($L_{dep}$): Uma perda que impõe precisão causal local ao contrastar prompts parciais contra respostas parciais incompatíveis (e vice-versa), garantindo que o modelo aprenda dependências específicas de entrada-saída em vez de artefatos superficiais.
• Papel do Surrogato: O EBM atua como um surrogato diferenciável, aprendendo a forma do manifold de geração do LLM alvo. Baixa energia indica alta consistência com as interações conceituais do modelo alvo.

3. A Rede Intérprete

Uma rede intérprete leve, $I_N(x, y_T; \alpha)$, é treinada para identificar o subconjunto de sentenças do prompt ($x_S$) mais influente na geração de um subconjunto de saída alvo especificado pelo usuário ($y_T$).

• Mecanismo: O intérprete recebe o prompt, a resposta completa e o subconjunto alvo como entrada. Ele produz um vetor de importância esparso e binário.
• Treinamento via Otimização Alternada: O intérprete é treinado para maximizar o gap de energia entre o subconjunto de sentenças do prompt selecionado (que deve resultar em baixa energia quando pareado com o alvo) e o restante não selecionado (que deve resultar em alta energia). Para evitar mudanças de distribuição causadas pelo mascaramento de entradas, o framework emprega otimização alternada: o intérprete é atualizado e, periodicamente, o EBM é ajustado utilizando novos pares prompt-resposta gerados pelo LLM alvo baseados nas seleções atuais do intérprete.
• Inferência: Uma vez treinado, o intérprete opera como uma ferramenta independente. Ele requer zero consultas adicionais à API do LLM alvo durante a inferência, tornando-o altamente escalável.

Principais Contribuições

1. Atribuição ao Nível de Conceito: O trabalho desloca a unidade de análise de tokens para sentenças, permitindo uma atribuição inteligível por humanos que relaciona elementos de saída diretamente a conceitos de prompt do usuário.
2. Surrogato EBM Baseado em Transformer: Os autores introduzem uma arquitetura EBM inovadora com métodos de amostragem específicos para aprender um campo aleatório surrogato sobre prompts e respostas. Esta abordagem modela dinâmicas de geração autênticas sem exigir distribuições de probabilidade normalizadas sobre vastos espaços de saída.
3. Framework Agnóstico ao Modelo: O framework proposto fornece um intérprete post-hoc para LLMs de caixa-preta que identifica sentenças de prompt específicas responsáveis por disparar saídas alvo, operando independentemente da arquitetura interna do modelo alvo.

Resultados Experimentais

O framework foi avaliado no conjunto de dados multi-domínio de Q&A HC3, utilizando o GPT-4o-Mini como o LLM de caixa-preta alvo.

• Estudo de Ablação: O EBM de objetivo duplo ($M_{Hybrid}$) superou as variantes de objetivo único. Ele alcançou Localização Diretiva superior (isolando a consulta primária do ruído), Robustez Semântica (ignorando preenchimentos conversacionais), Alinhamento com Oráculo (ranking de consistência com modelos de ponta como Gemini-2.5-Flash) e Desentrelaçamento Causal (distinguindo antecedentes verdadeiros de distratores).
• Plausibilidade de Atribuição: Quando comparado contra cinco "oráculos" de LLM (incluindo GPT-4o e GPT-J-6B), o ESCI demonstrou um alinhamento competitivo. Notavelmente, o ESCI produziu pontuações de atribuição esparsas e confiantes, isolando efetivamente dependências necessárias, enquanto oráculos ajustados por instrução produziram distribuições difusas. Em estudos de caso qualitativos, o ESCI conseguiu desentrelaçar drivers estilísticos (ex: "Explique como se eu tivesse cinco anos") de conteúdo semântico, uma capacidade onde outros oráculos às vezes falharam.
• Fidelidade Causal: Usando métricas de Suficiência Generativa (o alvo pode ser regenerado apenas com as sentenças selecionadas?) e Abrangência Generativa (o alvo é perdido quando as sentenças selecionadas são removidas?), o ESCI alcançou um Gap de Fidelidade positivo comparável a bases fortes como GPT-4o e LIME de nível de sentença.
• Escalabilidade: Um achado crítico é a eficiência computacional. Enquanto o LIME requer dezenas de consultas de API por prompt para análise baseada em perturbação, o ESCI opera em tempo de inferência $O(1)$ com zero chamadas de API adicionais. O framework atinge o ponto de equilíbrio em custos de API após interpretar aproximadamente 400 prompts, oferecendo um caminho escalável para implantação de alto volume.

Significância e Alegações

O artigo afirma que o ESCI estabelece os surrogatos baseados em energia como um caminho escalável para diagnosticar comportamentos de modelos em configurações de caixa-preta. Ao modelar a dinâmica de geração como um manifold de energia diferenciável, o framework permite o treinamento de um intérprete independente que não requer mais interação com o LLM alvo após o pré-treinamento.

Os autores posicionam este trabalho como uma solução para a opacidade dos LLMs proprietários em domínios de alto risco. Eles argumentam que, ao capturar padrões de geração globais e mitigar vieses específicos de instância através de treinamento global, o framework fornece uma explicação robusta de nível de conceito que é tanto computacionalmente eficiente quanto causalmente fiel.

Limitações Reconhecidas:
O artigo reconhece modestamente várias limitações:

• Sobrecarga de Treinamento: O framework desloca o fardo computacional para a fase de pré-treinamento, exigindo treinamento específico para a tarefa e ajuste de hiperparâmetros, o que limita a generalização imediata (out-of-the-box).
• Falta de Verdade Fundamental (Ground Truth): Como um cenário de caixa-preta, a validação depende de oráculos probabilísticos em vez de verdade fundamental determinística (ex: gradientes internos de modelos de pesos abertos).
• Escopo: A validação atual é limitada a tarefas de Q&A com modelos surrogatos compactos; o desempenho em raciocínios complexos ou janelas de contexto massivas ainda precisa ser verificado.
• Utilidade Humana: Embora a fidelidade causal seja quantificada, a utilidade prática para tarefas de auditoria humana (ex: detecção de viés) requer estudos de sujeitos adicionais.