From Actions to Understanding: Conformal Interpretability of Temporal Concepts in LLM Agents

Título: Da Ação ao Entendimento: Interpretabilidade Conformal de Conceitos Temporais em Agentes LLM

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados como agentes autônomos capazes de raciocínio, planejamento e ação em ambientes interativos. Embora esses agentes demonstrem habilidades impressionantes em tarefas sequenciais (como em simuladores físicos ou de texto), seus mecanismos internos permanecem opacos ("caixa preta").

O desafio central identificado pelos autores é a interpretabilidade temporal:

• As abordagens tradicionais de interpretabilidade focam em entradas estáticas ou únicas, ignorando a evolução dinâmica das representações internas do modelo ao longo do tempo.
• Em tarefas sequenciais, o sucesso ou fracasso final de uma tarefa muitas vezes mascara onde, exatamente, o raciocínio do agente começou a desviar (ex: alucinações ou exploração irrelevante) no meio da trajetória.
• Não existe uma noção granular de "sucesso" ou "fracasso" em nível de passo individual, o que impede a detecção precoce de falhas e a intervenção corretiva.

2. Metodologia Proposta

O artigo apresenta um framework de interpretabilidade conformal passo a passo que transforma a avaliação final de uma tarefa em uma análise temporal de representações. A abordagem baseia-se em três componentes principais:

A. Modelagem de Recompensa Passo a Passo (Step-Wise Reward Modeling)

• Em vez de depender apenas da recompensa esparsa no final da tarefa, o framework gera recompensas densas para cada passo.
• Utiliza amostragem de Monte Carlo sobre o espaço de ações do agente (condicionada à trajetória observada até o momento) para estimar a probabilidade de sucesso futuro a partir de cada estado intermediário.
• Isso cria um sinal de feedback probabilístico e prospectivo para cada passo da sequência.

B. Rotulagem Estatística via Predição Conformal

• Para atribuir rótulos de "sucesso" ou "fracasso" a cada passo com garantias estatísticas, o método emprega Predição Conformal Indutiva (ICP).
• Define-se uma medida de não-conformidade baseada nas recompensas estimadas: passos com alta recompensa são considerados conformes à distribuição de sucesso, e vice-versa.
• O método calcula valores-p para determinar se um passo pertence à distribuição de sucesso ou falha, estabelecendo limites de confiança rigorosos (ex: erro de falso positivo/negativo limitado a 10%).
• Isso permite rotular representações internas temporais com garantias teóricas de erro.

C. Sondagem de Direções Latentes (Linear Probing)

• Com os dados rotulados estatisticamente, o framework treina sondas lineares (classificadores simples) nas ativações internas do modelo (especificamente no fluxo residual em várias camadas e tempos).
• O objetivo é testar a hipótese de que as direções de "sucesso" e "fracasso" são linearmente separáveis no espaço de representação do modelo, mesmo ao longo do tempo e entre diferentes domínios.

3. Contribuições Principais

1. Framework de Interpretabilidade Temporal: Uma nova abordagem que combina modelagem de recompensa densa com predição conformal para analisar a evolução de conceitos em agentes LLM.
2. Garantias Estatísticas: Uso inovador da Predição Conformal para rotular estados internos de agentes com limites de erro prováveis, superando a incerteza de rótulos heurísticos.
3. Descoberta de Separabilidade Linear: Evidência empírica de que modelos LLM ajustados para tarefas sequenciais desenvolvem representações internas onde os conceitos de sucesso e fracasso são geometricamente separáveis ao longo das camadas e do tempo.
4. Intervenção e Direcionamento (Steering): Demonstração prática de que, ao identificar as direções de sucesso, é possível "direcionar" (steer) o agente durante a inferência para corrigir desvios de raciocínio e melhorar o desempenho, sem necessidade de re-treinamento massivo.

4. Resultados Experimentais

Os autores avaliaram o framework em dois ambientes simulados interativos: ScienceWorld (raciocínio científico) e AlfWorld (tarefas domésticas), utilizando o modelo Llama-2-7B.

• Separabilidade Linear: As sondas lineares alcançaram alta precisão e F1-scores na classificação de passos como sucesso ou fracasso.
  • Em ScienceWorld, a precisão atingiu até 100% em muitos casos (conjunto de teste in-distribution) e manteve-se robusta em dados fora de distribuição (OOD).
  • Em AlfWorld, os resultados foram ligeiramente inferiores (precisão variando de 60% a 95%), possivelmente devido à estrutura de recompensa mais esparsa (recompensa apenas no final) comparada à ScienceWorld.
• Generalização: A separabilidade foi observada consistentemente através de diferentes camadas do modelo (camadas iniciais, médias e finais) e em cenários de treinamento e teste.
• Melhoria de Desempenho (Steering): Ao aplicar uma intervenção de direcionamento na direção de "sucesso" identificada (usando o método Representation Engineering - RepE) no passo 3 de uma tarefa:
  • O modelo direcionado apresentou um aumento de 1.1% na precisão em relação à linha de base.
  • Embora menor que métodos caros como Best-of-N ou DPO, o ganho foi obtido com custo computacional significativamente menor e demonstrou a capacidade de corrigir alucinações e desvios de raciocínio em tempo real.

5. Significado e Impacto

Este trabalho representa um avanço significativo na busca por agentes de linguagem autônomos confiáveis:

• Detecção Precoce de Falhas: Permite identificar o momento exato em que o raciocínio do agente começa a falhar, antes que a tarefa seja completamente perdida.
• Intervenção Ativa: Oferece um mecanismo principiado para intervir e corrigir o comportamento do agente em tempo de execução, guiando-o de volta para trajetórias de sucesso.
• Fundamento para Confiança: Ao tornar os processos de decisão temporais transparentes e interpretáveis, o framework abre caminho para a implantação segura de LLMs em ambientes complexos e críticos, onde a explicabilidade é essencial.

Em resumo, o artigo demonstra que é possível "ver" e "controlar" o pensamento temporal de um agente LLM, transformando-o de uma caixa preta em um sistema cujas falhas podem ser diagnosticadas e corrigidas estatisticamente.