Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition

1. Problema e Motivação

Os Sistemas Multi-Agente (MAS) baseados em Grandes Modelos de Linguagem (LLMs) demonstram superioridade em tarefas complexas em comparação com agentes únicos. No entanto, suas interações intrincadas introduzem desafios críticos de confiabilidade que os métodos existentes de Quantificação de Incerteza (UQ) não conseguem abordar adequadamente.

Os métodos atuais de UQ, projetados principalmente para saídas de uma única rodada (single-turn), falham em MAS devido a três desafios distintos:

• Raciocínio em Múltiplos Passos: A incerteza não está apenas no resultado final, mas se acumula e se propaga (efeito cascata) através de erros em etapas intermediárias. Métodos baseados em consistência semântica (como Entropia Semântica) ignoram essa trajetória ou falham ao tentar concatenar todo o histórico devido a limitações de contexto.
• Diversidade de Comunicação Inter-Agente: Para a mesma consulta, os agentes podem colaborar através de sequências de interação diferentes em execuções distintas. Métodos focados apenas na diversidade semântica do texto final são "cegos" a essa diversidade de caminhos.
• Diversidade de Topologias de Comunicação: Os MAS podem ter estruturas estáticas (ex: estrela, cadeia) ou dinâmicas. Métodos de UQ validados para modelos únicos não generalizam bem para essas estruturas variadas e complexas.

2. Metodologia: O Framework MATU

Os autores propõem o MATU (Multi-Agent Tensor Uncertainty), um framework inovador que utiliza decomposição tensorial para quantificar a incerteza de forma holística.

O pipeline do MATU funciona da seguinte maneira:

1. Embedding para Raciocínio em Múltiplos Passos:

   • Em vez de analisar apenas o texto final, cada etapa intermediária da trajetória de raciocínio de cada agente (seja uma frase ou o resultado de uma chamada de ferramenta) é codificada em um espaço latente compartilhado usando modelos de embedding pré-treinados (ex: Qwen3-embedding).
   • Isso transforma trajetórias de comprimento variável e conteúdo heterogêneo em matrizes de embedding fixas ($E^{(j,k)}$), onde $j$ é a execução e $k$ é o agente.

2. Representação Tensorial para Comunicação Inter-Agente:

   • Para lidar com a variabilidade no comprimento das trajetórias e nas sequências de comunicação entre execuções repetidas, o MATU organiza todas as matrizes de embedding em um tensor irregular (ragged tensor) de ordem superior.
   • Este tensor captura três dimensões: Agentes, Passos de Raciocínio e Execuções (Runs). Diferente de tensores tradicionais que exigem dimensões fixas, o tensor irregular permite que o número de passos varie entre execuções.

3. Decomposição Tensorial (PARAFAC2/CP-2):

   • O framework aplica a Decomposição PARAFAC2 (CP-2), um método especificamente projetado para lidar com estruturas tensoriais irregulares.
   • A lógica central é que interações consistentes e confiáveis devem seguir uma estrutura de baixo posto (low-rank).
   • O sistema realiza a decomposição sob diferentes postos ($R$) e calcula o erro de reconstrução ($L_R = \|X - \hat{X}_R\|$).
   • Métrica de Incerteza: Um alto erro de reconstrução indica que as trajetórias variam significativamente e não podem ser explicadas por poucos componentes latentes comuns, sugerindo alta incerteza. A pontuação final de incerteza ($U$) é a soma dos erros de reconstrução em todos os postos analisados.

3. Contribuições Principais

• Definição Sistemática: Oferece a primeira definição sistemática de UQ para MAS, identificando fontes únicas de incerteza introduzidas pelo uso de ferramentas, raciocínio multi-passos e comunicação inter-agente.
• Framework MATU: Desenvolve um framework baseado em decomposição tensorial que integra sinais de incerteza tanto no nível da resposta quanto no nível da execução (run), permitindo uma estimativa holística.
• Generalização e Interpretabilidade: O método é generalizável para diferentes topologias de comunicação (estáticas e dinâmicas) e permite a interpretação das fontes de incerteza através dos fatores latentes da decomposição.

4. Resultados Experimentais

Os autores realizaram experimentos abrangentes em quatro conjuntos de dados (MATH, MoreHopQA, MMLU, HumanEval) utilizando diversos modelos (GPT-4o, Qwen2.5, Llama3.1) e arquiteturas de MAS (Camel, AutoGen, AnyMac).

• Desempenho Superior: O MATU superou consistentemente todas as linhas de base (incluindo Eigv(Agre), P(true) e SAUP) nas métricas AUROC e AUARC. Isso demonstra que o MATU é melhor em prever quando uma resposta estará incorreta.
• Robustez em Topologias Variadas: O método funcionou eficazmente tanto em sistemas com design estático (Camel, AutoGen) quanto em sistemas dinâmicos (AnyMac), onde a sequência de agentes muda durante a execução.
• Integração com Ferramentas: No benchmark HumanEval (geração de código), o MATU manteve seu desempenho superior, validando sua eficácia em ambientes que envolvem chamadas de ferramentas e interpreters.
• Detecção de OOD (Out-of-Distribution): O MATU demonstrou capacidade de distinguir dados de distribuição diferente (ex: prompts de matemática aplicados a tarefas de conhecimento geral), com pontuações de incerteza claramente separadas entre dados in-distribution e OOD, superando as linhas de base.
• Aplicação Prática (Seleção de Modelo): Em uma tarefa de seleção de backbone (escolher a melhor resposta entre vários modelos), o uso da pontuação de incerteza do MATU resultou em maior precisão do sistema final em comparação com seleção aleatória ou baseada em outras métricas de incerteza.

5. Significado e Conclusão

O trabalho representa um avanço significativo na confiabilidade de sistemas de IA colaborativa. Ao tratar a trajetória de raciocínio como um objeto tensorial estruturado e aplicar decomposição matemática avançada, o MATU supera as limitações das abordagens baseadas apenas em texto final ou em consistência semântica superficial.

A principal implicação é que a incerteza em sistemas multi-agente não é apenas uma propriedade do modelo individual, mas uma propriedade emergente da dinâmica de comunicação e do processo de consenso. O MATU fornece uma ferramenta robusta para:

1. Monitorar a confiabilidade de sistemas multi-agente em tempo real.
2. Detectar falhas antes que erros se propaguem em cadeias de raciocínio.
3. Otimizar a seleção de modelos e rotas de execução em sistemas de produção.

O artigo também reconhece limitações, como o custo computacional inerente à necessidade de múltiplas execuções (runs) para construir o tensor e a dependência da qualidade do modelo de embedding utilizado. No entanto, o framework estabelece um novo paradigma para a quantificação de incerteza em sistemas complexos de agentes autônomos.