Resumo Técnico: Além das Respostas Finais: Auditoria de Alucinações em Nível de Trajetória em Fluxos de Trabalho Industriais Multi-Agente

1. Declaração do Problema

A transição de Modelos de Linguagem de Grande Escala (LLMs) estáticos para sistemas agênticos autônomos introduz um modo de falha crítico: alucinação em nível de trajetória. Enquanto os benchmarks existentes (por exemplo, TruthfulQA, AgentBench) avaliam alucinações principalmente como erros factuais "de uma só vez" em saídas finais, eles não conseguem capturar desvios que ocorrem dentro dos ciclos sequenciais mediados por ferramentas Pensamento-Ação-Observação (TAO) de fluxos de trabalho multi-agente.

Em ambientes industriais como monitoramento de data centers (especificamente dentro do framework AssetOpsBench), uma alucinação não é meramente uma resposta errada; é um desvio estrutural em relação às evidências que se propaga através de um loop de agente. Esses desvios podem se manifestar como pulos procedimentais, entidades referenciadas incorretamente a partir de etapas anteriores ou violações de escopo onde um agente atua fora de seu mandato. Os paradigmas de avaliação atuais, que tratam instâncias como pares isolados de entrada-saída, não conseguem diagnosticar se um sistema falhou devido a um mal-entendido ambiental ou à invenção de estados inexistentes. Além disso, a definição de alucinação em loops interativos é frequentemente confundida com erros de lógica ou falhas na execução de ferramentas, carecendo da granularidade necessária para análise diagnóstica.

2. Metodologia

Os autores introduzem o Trajel, um conjunto de dados e um framework de avaliação projetados para auditar alucinações em nível de trajetória em fluxos de trabalho industriais multi-agente. A metodologia é estruturada em torno de quatro componentes principais:

A. Estrutura e Formalismo da Trajetória

O fluxo de trabalho é modelado como um sistema composto de IA $\Phi = (M, C, T_{tool})$, onde $M$ representa agentes orientados por LLM, $C$ é o orquestrador e $T_{tool}$ é o conjunto de ferramentas. A execução procede como uma sequência de etapas $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$, onde $\tau_t$ é o pensamento, $\alpha_t$ é a ação e $\omega_t$ é a observação. Uma trajetória $T$ é o rastro ordenado dessas etapas.

B. Taxonomia de Alucinação Consciente da Trajetória

O artigo define alucinação como um predicado estrutural sobre o rastro TAO, categorizado em cinco tipos distintos:

1. Factual ($h_F$): Afirmações contraditas por dados de verdade fundamental na etapa atual.
2. Referencial ($h_R$): Referências a entidades ou resultados anteriores ausentes do histórico da trajetória (o modelo "lembra" algo que nunca aconteceu).
3. Lógico ($h_L$): Raciocínio que não decorre de suas premissas, mesmo que as premissas estejam corretas.
4. Procedimental ($h_P$): Pular, reordenar ou fabricar etapas exigidas pela especificação da tarefa, ou afirmar a conclusão de etapas ausentes.
5. Escopo ($h_S$): Um agente agindo ou afirmando fora de seu mandato operacional específico (único em configurações multi-agente).

C. Construção do Conjunto de Dados (Trajel)

O conjunto de dados compreende 225 trajetórias de agentes anotadas por especialistas geradas em 6 configurações de modelo e 42 tarefas industriais de AssetOps.

• Protocolo de Anotação: Uma abordagem híbrida mitiga o viés. As trajetórias são primeiro avaliadas por um LLM-como-Juiz, seguido por revisão humana cega de duas instituições (IBM e Universidade de Columbia) sem acesso aos julgamentos do LLM.
• Rótulos: As anotações incluem presença de alucinação, tipo (multi-rótulo), localização dentro do rastro (Pensamento, Ação, Observação, Resposta) e justificativa em texto livre.
• Estatísticas: A taxa de alucinação identificada por humanos é de 68,3%, com um $\kappa$ de Cohen de 0,456 entre julgamentos automatizados e humanos. Notavelmente, 48,7% das trajetórias alucinadas exibem múltiplos tipos simultaneamente.

D. Framework de Modelagem de Detecção

Os autores avaliam três paradigmas de detecção supervisionada para atender a diferentes requisitos de contexto:

1. Classificação em Nível de Subtarefa (BERT): Opera em etapas individuais ($\tau_t, \alpha_t, \omega_t$) para detectar pistas locais (eficaz para alucinações Fatais).
2. NLI em Nível de Trajetória: Trata a detecção como um problema de implicação onde o histórico da trajetória é a premissa e a etapa atual é a hipótese (visa alucinações Referenciais e Lógicas).
3. Modelagem de Longo Contexto (Longformer): Consome a trajetória serializada completa para detectar violações estruturais globais como alucinações Procedimentais e baseadas em Escopo.

E. Análise de Sinais

O estudo investiga sinais de qualidade de execução observáveis durante ou imediatamente após a execução (Conclusão da Tarefa, Precisão na Recuperação de Dados, Verificação de Resultados, Corretude da Sequência de Agentes e Clareza e Justificativa) para determinar seu poder preditivo para alucinação.

3. Resultados Principais

A. Prevalência e Taxonomia

• Alucinações Procedimentais são o modo de falha mais comum, representando 38,5% das falhas identificadas. Estas são invisíveis para avaliação baseada apenas em saída.
• Complexidade Multi-rótulo: Quase metade (48,7%) das trajetórias alucinadas envolve múltiplos tipos simultaneamente, validando a necessidade de formulações multi-rótulo sobre classificações de rótulo único.
• Variância do Modelo: As taxas de alucinação variam drasticamente entre modelos, indo de 52,4% a 81,0%, indicando discrepâncias significativas na forma como diferentes arquiteturas mantêm a fundamentação ao longo de horizontes longos.

B. Desempenho de Detecção

• LLM-como-Juiz: Embora alcance alta precisão binária (F1 = 0,855), o juiz classifica sistematicamente incorretamente tipos sutis. O acordo com humanos cai significativamente para alucinações Lógicas ($\kappa = 0,211$) e Referenciais ($\kappa = 0,176$).
• Modelos Supervisionados: Modelos ajustados (BERT, NLI, Longformer) melhoram em relação às linhas de base de classe majoritária, mas não conseguem igualar o juiz LLM zero-shot nas pontuações F1. O melhor modelo supervisionado (NLI) alcança um ROC-AUC de 0,689, confirmando que a detecção de alucinação em nível de trajetória permanece um desafio não resolvido para classificadores atuais.
• Localização: As alucinações são mais frequentemente localizadas em Ações (47,5% das procedimentais) e Respostas (40,3% das factuais), sugerindo que as falhas ocorrem frequentemente na tradução do raciocínio para a invocação de ferramentas ou afirmações de saída.

C. Sinais Preditivos

O estudo identifica Clareza e Justificativa (CJ) como o preditor univariado mais forte de alucinação.

• Trajetórias que carecem de raciocínio claro e fundamentado alucinam a uma taxa de 94,3%, comparado a 9,1% para trajetórias de alta clareza.
• O sinal CJ sozinho alcança um AUC de 0,908, superando substancialmente o melhor classificador treinado (NLI, AUC = 0,689).
• Quando tanto a Clareza quanto a Verificação de Resultados estão ausentes, a taxa de alucinação atinge 97,1%, sugerindo que esses sinais podem servir como condições eficazes de "interruptor de desligamento" para orquestradores de agentes.

4. Significado e Alegações

O artigo alega que a detecção consciente da trajetória supera significativamente a verificação pós-hoc padrão, tornando a avaliação fundamentada em taxonomia necessária para uma implantação agêntica mais segura.

• Mudança na Avaliação: O trabalho argumenta que avançar além da verificação binária de "resposta final" para análise estrutural do rastro do agente é essencial. O paradigma atual de benchmarks estáticos falha em capturar as dinâmicas temporais e interativas dos loops de agentes.
• Valor Diagnóstico: A taxonomia de cinco tipos desvenda falhas de fundamentação de erros de raciocínio e violações de fluxo de controle, fornecendo a granularidade necessária para diagnosticar onde na trajetória um desvio começou.
• Caminho Prático: As descobertas sugerem que monitores de tempo de execução leves baseados em sinais de qualidade de execução (especificamente Clareza e Justificativa) oferecem um caminho mais prático e eficaz para detecção de alucinação em tempo real do que treinar classificadores supervisionados complexos em dados de trajetória limitados.
• Limitações: Os autores reconhecem que o conjunto de dados é limitado a um único domínio industrial (AssetOpsBench) e seis configurações de modelo. O acordo entre anotadores permanece moderado para os tipos mais sutis (Lógico e Referencial), indicando a necessidade de protocolos de anotação mais ricos. A lacuna entre o desempenho do classificador supervisionado e o desempenho do juiz LLM motiva trabalhos futuros em arquiteturas híbridas.

Em conclusão, o Trajel fornece o primeiro framework sistemático para auditar alucinações em nível de trajetória em fluxos de trabalho industriais multi-agente, demonstrando que falhas procedimentais e baseadas em escopo são prevalentes, frequentemente co-ocorrem e exigem métodos de avaliação que respeitem a integridade estrutural do rastro de execução do agente.