Resumo Técnico: Diagnosticando o Comprometimento Prematuro em Agentes de LLM

1. Definição do Problema

Agentes de LLM de longo horizonte (por exemplo, aqueles que utilizam frameworks ReAct para pesquisa ou uso de ferramentas em múltiplas etapas) enfrentam um "modo de falha silencioso" conhecido como comprometimento prematuro. Neste cenário, um agente estabelece uma única interpretação das evidências precocemente no processo de raciocínio e, subsequentemente, defende essa interpretação pelo restante da execução, independentemente de ela ser correta ou não.

Métricas de avaliação padrão falham em detectar este modo de falha:

• Pontuação da resposta final observa apenas o output, não a trajetória interna.
• Concordância entre execuções (ex: autossistência/self-consistency) é ambígua; um agente confiantemente errado pode concordar consigo mesmo de forma tão confiável quanto um agente correto.

O desafio central é determinar se um agente "se estabeleceu" internamente em um caminho estável antes da conclusão da execução, e distinguir este estado de estabilidade do estado de correção.

2. Metodologia

Definições Operacionais

• Comprometimento Representacional: Definido como a convergência de estados ocultos entre execuções em uma etapa de raciocínio fixa. É medido executando o mesmo input $n$ vezes com temperatura não nula e calculando a média da similaridade de cosseno par a par dos estados ocultos no último token de uma etapa específica $s$.
• Consistência Comportamental (de Trajetória): A métrica alvo, distinta da concordância de saída. É medida via:
  1. Coeficiente de Variação (CV) da contagem de etapas entre as execuções.
  2. Diversidade de sequência de ações (proporção de sequências de ações únicas).
     Valores mais baixos em ambos indicam maior consistência.

Configuração Experimental

• Modelos: Llama-3.1-70B (primário), Qwen-2.5-72B e Phi-3-14B.
• Benchmarks: HotpotQA (recuperação multi-salto) e StrategyQA (raciocínio implícito).
• Protocolo: 100 questões executadas 10 vezes cada com temperatura $T=0.5$. Estados ocultos foram extraídos das camadas $\ell \in \{0, 8, \dots, 80\}$ no último token de cada etapa ReAct.
• Análise: Correlações de Pearson e parciais (controlando por dificuldade e acurácia) entre similaridade de ativação e CV comportamental. Testes de permutação e correções de Bonferroni foram aplicados à grade etapa $\times$ camada.

3. Principais Descobertas

A. A Assinatura do Comprometimento

A similaridade de ativação na Etapa 4 (em HotpotQA) é negativamente correlacionada com a inconsistência comportamental (CV).

• Llama-3.1-70B: Pico de correlação na Camada 40 ($r = -0.35$, $r$ parcial $= -0.45$). Questões com alta similaridade de estado oculto na Etapa 4 exibem significativamente menor variância comportamental (4,1$\times$ menor CV médio no quartil superior).
• Dinâmica Temporal: O sinal está ausente nas Etapas 1–2, fortalece-se na Etapa 3, atinge o pico na Etapa 4 e enfraquece na Etapa 5.
• Replicação entre Arquiteturas:
  • Qwen-2.5-72B: Sinal mais forte ($r = -0.65$) com pico na Camada 64 (80% de profundidade).
  • Phi-3-14B: O sinal atinge o pico na Etapa 5 (Camada 16), sugerindo que modelos menores requerem uma etapa adicional para se estabelecerem.
• Generalização entre Benchmarks: No StrategyQA (cadeias mais curtas), o sinal atinge o pico mais cedo, na Etapa 3, com uma correlação muito forte ($r = -0.83$).

B. A Fronteira: Consistência vs. Correção

Uma descoberta crítica é que o sinal de comprometimento rastreia a estabilidade do processo, não a correção.

• Indistinguibilidade: Agentes "comprometidos-errados" (altamente consistentes, mas incorretos) e agentes "comprometidos-corretos" (altamente consistentes e corretos) não são separáveis pela similaridade de ativação. Seus estados ocultos convergem para representações semelhantes.
• Questões Fáceis vs. Difíceis: O sinal é impulsionado principalmente por questões fáceis. Em questões difíceis, a correlação colapsa ($r \approx 0$), provavelmente porque estados "comprometidos-errados" dominam e saturam a métrica de similaridade, independentemente do resultado.
• Conclusão: O diagnóstico revela que um agente se estabeleceu, mas não se ele está certo.

C. Detecção em Tempo de Execução e Intervenção

• Detecção: Um classificador logístico usando estados ocultos da Etapa 4 pode detectar trajetórias inconsistentes com alta precisão (AUROC de até 0.97 sob rotulagem de quintis; 0.85–0.88 sob divisões de mediana mais rigorosas). Isso supera baselines de superfície como o comprimento da questão.
• Intervenção: Uma intervenção de prompting na Etapa 3 (instruindo o agente a "comprometer-se com uma estratégia de raciocínio específica") aumentou a similaridade de ativação ($d=0.97$) e reduziu a variância comportamental em 28% em comparação com um prompt de preenchimento pareado por tokens.
  • Impacto na Acurácia: A intervenção foi neutra em termos de acurácia. Ela reduziu a variância tanto para trajetórias corretas quanto incorretas, confirmando que induzir o comprometimento amplifica a trajetória existente em vez de corrigi-la.
• Roteamento de Computação: Em um benchmark mais difícil (MuSiQue), usar o sinal de estado oculto para rotear computação de autossistência ofereceu apenas ganhos modestos sobre baselines de amostra fixa e foi superado por métodos de consistência adaptativa baseados em saída.

4. Significância e Alegações

O artigo posiciona o "comprometimento representacional" como uma ferramenta de diagnóstico para uma falha de processo oculta que as métricas padrão não detectam.

• Utilidade Diagnóstica: O sinal fornece uma maneira de identificar quando um agente "travou" em um caminho. Isso é valioso para implantação: se um agente está altamente comprometido, o reamostragem (resampling) provavelmente não ajudará (pois o agente provavelmente repetirá o mesmo erro), e o caso deve ser delegado a um verificador externo. Por outro lado, o baixo comprometimento sugere que o agente ainda está explorando, tornando a reamostragem potencialmente frutífera.
• Limitações: Os autores declaram explicitamente que isso não é uma alavanca geral para melhorar a acurácia. Como o comprometimento é ortogonal à correção, forçar o comprometimento apenas torna um agente mais consistentemente errado se ele estiver em um caminho errado.
• Trabalhos Futuros: O artigo sugere direções futuras que incluem experimentos de observação reproduzida para desvendar a recuperação versus o raciocínio, testes de equivalência (TOST) para a alegação de independência de correção, e o desenvolvimento de roteadores de estado oculto que superem os baselines baseados em saída.

Em resumo, o trabalho demonstra que os agentes de LLM exibem uma assinatura mensurável de "estabelecimento" em seus estados ocultos que prevê a consistência comportamental, mas falha em prever a correção, oferecendo um diagnóstico específico para a estabilidade da trajetória em vez de uma melhoria universal de acurácia.