Resumo Técnico: Consistência como Propriedade Testável

Declaração do Problema

Embora os agentes de Modelos de Linguagem de Grande Escala (LLM) tenham demonstrado capacidades notáveis em domínios que vão desde a engenharia de software até o raciocínio complexo, sua implantação em ambientes de alto risco é impedida pela falta de consistência comportamental. Diferentemente de software determinístico, agentes baseados em LLM exibem variância significativa de saída quando confrontados com entradas semanticamente equivalentes, devido à estocasticidade de amostragem e à sensibilidade a variações superficiais nos prompts. As metodologias de avaliação atuais focam principalmente nas taxas de conclusão de tarefas (por exemplo, pass@1) e na precisão em benchmarks específicos. No entanto, essas métricas não capturam se os agentes produzem saídas coerentes e confiáveis quando confrontados com variações na formulação da entrada, no contexto ou nos ambientes de execução.

O artigo destaca várias limitações críticas na confiabilidade atual dos agentes:

• Fragilidade a Perturbações: Erros tipográficos menores ou parafraseamento podem causar quedas significativas na precisão do raciocínio em cadeia de pensamento.
• Sensibilidade a Ferramentas: Agentes com acesso a múltiplas ferramentas exibem comportamento errático quando as descrições das ferramentas são modificadas ou ferramentas irrelevantes são adicionadas, com a precisão caindo para quase zero sob condições adversas.
• Respostas Contraditórias: Agentes frequentemente produzem respostas contraditórias em diferentes turnos de conversação, particularmente sob limitações de comprimento de contexto ou consultas mal especificadas.
• Contaminação de Benchmarks: O desempenho em benchmarks estáticos (por exemplo, SWE-bench) frequentemente não se traduz em variantes continuamente atualizadas (por exemplo, SWE-bench-Live), sugerindo uma falta de verdadeira robustez.

O trabalho existente carece de um framework padronizado e rigoroso para decompor e medir a consistência no nível das trajetórias de execução do agente, focando frequentemente apenas nas saídas finais.

Metodologia

Os autores propõem uma ciência de medição rigorosa para a confiabilidade de agentes de IA baseada em testes de hipóteses estatísticas. O framework decompõe a confiabilidade em duas dimensões: observável (nível de saída) e interna (nível de trajetória).

1. Consistência de Saída via Estatísticas-U

Para medir a consistência no nível de saída, os autores formalizam o problema usando Estatísticas-U.

• Configuração: Dado um prompt base $x_0$ e um conjunto de variantes perturbadas semanticamente equivalentes $x_1, \dots, x_n$, o agente produz saídas $y_0, \dots, y_n$.
• Métrica: Uma função kernel simétrica $k(y_i, y_j)$ mede a similaridade entre pares de saídas (por exemplo, BLEU, ROUGE, implicação ou juízes baseados em LLM).
• Estimador: A consistência é estimada pela Estatística-U $U_n$, que é um estimador não viesado do parâmetro populacional $\theta = E[k(Y, Y')]$.
• Teste de Hipóteses: O framework testa a hipótese nula $H_0: \theta = 1$ (consistência perfeita) contra $H_1: \theta < 1$ (inconsistência). Os Teoremas 1 e 2 estabelecem que, sob suposições específicas (invariância distribucional e distribuição homogênea de tarefas), a estatística de teste segue uma distribuição normal assintoticamente, fornecendo garantias sobre o tamanho (controle de falsos positivos) e o poder (sensibilidade de detecção).

2. Consistência de Trajetória via Métodos de Kernel

Reconhecendo que os agentes executam processos sequenciais de tomada de decisão, o framework estende-se para trajetórias de execução $\tau = (a_1, \dots, a_T)$.

• Processos Estocásticos: As trajetórias são tratadas como processos estocásticos com comprimentos variáveis e dependências temporais.
• Métrica: Os autores utilizam a Divergência Máxima da Média (MMD) em um Espaço de Hilbert de Kernel Reprodutor (RKHS) para medir a distância entre a distribuição de trajetórias base e trajetórias perturbadas.
• Kernels: Para lidar com sequências de ações de comprimento variável, o artigo emprega:
  • Distância Jensen-Shannon (JSD): Mede o desvio de composição (proporções de ferramentas utilizadas).
  • Distância de Levenshtein (LD): Mede o desvio de ordenação (estabilidade da sequência).
  • Kernel de Alinhamento Global (GAK): Um kernel positivo-definido que resolve o problema da não-definição positiva em distâncias de edição, fornecendo um análogo estatisticamente válido para MMD.
• Métricas Ponderadas: Para capturar a assimetria dos erros (onde desvios em estágios tardios são mais consequentes do que exploração inicial), os autores introduzem distâncias de Levenshtein ponderadas, escalando os custos de edição pela posição.

3. Lidando com Multimodalidade

O framework aborda a questão onde múltiplas estratégias de solução válidas existem para uma única tarefa. Ele propõe uma abordagem em duas etapas: (i) identificar modos de solução via agrupamento espectral na matriz GAK, e (ii) medir a consistência dentro de cada modo para distinguir entre diversidade legítima de estratégias e instabilidade genuína.

Contribuições Principais

1. Framework Fundamental: O artigo estabelece um framework estatístico principiado para quantificar a consistência do agente, distinguindo entre capacidade central e robustez de execução.
2. Rigor Teórico: Fornece provas formais para a normalidade assintótica das estatísticas de teste propostas (Teoremas 1–3), garantindo taxas conservadoras de falsos positivos e alto poder para detectar inconsistências verdadeiras.
3. Granularidade Diagnóstica: Ao decompor a inconsistência em desvio de composição (quais ações são tomadas) e desvio de ordenação (como são sequenciadas), o framework revela fraquezas arquiteturais invisíveis para métricas baseadas apenas em saída.
4. Diagnósticos Temporais: A introdução de métricas de trajetória ponderadas permite identificar quando os agentes se desviam (erros carregados no início vs. carregados no final), oferecendo orientações específicas para correções arquiteturais.

Resultados Experimentais

O framework foi validado em três benchmarks de agentes: SWE-bench Verified (engenharia de software), Spider2-DBT (transformação de dados) e BFCL (chamada de funções). Os experimentos envolveram a aplicação de perturbações no nível do prompt (parafraseamento, retrotradução, ruído) e no nível da tarefa (mudanças de ambiente, deslocamentos de esquema, ferramentas isca).

• Alta Precisão Mascara Falhas de Consistência: Os agentes mantiveram consistência de saída relativamente alta (0,75–0,90) sob perturbações no nível do prompt, mas exibiram degradação significativa sob perturbações no nível da tarefa.
• Métricas de Trajetória Revelam Falhas Ocultas:
  • SWE-bench: Sob uma perturbação "MCP linear" (alterando mecanismos de recuperação de informações), a precisão do OpenHands+Kimi-K2 colapsou para ~25%, mas a consistência de saída permaneceu em 60%. A análise de trajetória revelou que, embora a seleção de ferramentas tenha permanecido consistente (alta JSD), a ordenação das ações degradou-se significativamente (baixo Levenshtein), indicando uma falha no sequenciamento de execução.
  • BFCL: Sob uma perturbação de formato XML, a precisão do OpenHands+Kimi-K2 caiu para quase zero. As métricas de trajetória mostraram uma ruptura completa tanto na composição quanto na ordenação, revelando uma dependência codificada em JSON e uma incapacidade de gerar XML válido.
  • Spider2-DBT: O Codex mostrou alta consistência de composição, mas consistência de ordenação moderada sob perturbações de esquema, sugerindo que o agente consistentemente produzia a resposta errada para entradas perturbadas.
• Força da Perturbação: Estudos de ablação mostraram que o aumento da força da perturbação (por exemplo, múltiplas passagens de parafraseamento) levou a declínios graduais na precisão, enquanto mudanças estruturais específicas (por exemplo, injeção de código morto) mostraram efeitos de saturação, sugerindo que os agentes podem ignorar código claramente não utilizado.

Significado e Alegações

O artigo alega fornecer as "ferramentas matemáticas para isolar onde e por que os agentes se desviam". Seu significado reside na mudança do paradigma de avaliação de "o agente resolve a tarefa?" para "o agente resolve a tarefa confiavelmente sob variação?".

• Sensibilidade Diagnóstica: Os autores demonstram que métricas de consistência no nível de trajetória fornecem sensibilidade diagnóstica muito maior do que as taxas tradicionais de pass@1, expondo fragilidade arquitetural que métricas de precisão obscurecem.
• Prontidão para Implantação: Ao identificar modos de falha específicos (por exemplo, erros de sequenciamento vs. erros de seleção de ferramentas), o framework permite a identificação e retificação de preocupações arquiteturais, o que é um pré-requisito para implantar agentes em ambientes de alto risco e do mundo real.
• Limitações: Os autores reconhecem que sua abordagem depende da suposição de equivalência semântica nas perturbações, o que é difícil de validar empiricamente. Além disso, a análise atual de trajetória trata sequências de ações como a unidade de consistência, ignorando estados de raciocínio intermediários ou atualizações de crença, o que exigiria acesso a estados internos do modelo não expostos atualmente por frameworks padrão de agentes.

Em conclusão, este trabalho oferece uma definição rigorosa e testável de confiabilidade de agentes, indo além das taxas de sucesso simples para uma compreensão matizada de como os agentes se comportam sob estresse, fornecendo assim uma base para a construção de sistemas de IA mais robustos.