DiscoUQ: Structured Disagreement Analysis for Uncertainty Quantification in LLM Agent Ensembles

Resumen Técnico: DISCOUQ

1. El Problema

Los sistemas de agentes de LLM (Modelos de Lenguaje Grande) multi-agente, donde múltiples instancias de un modelo responden independientemente a una misma pregunta, se han convertido en un paradigma potente para tareas de razonamiento complejo. Sin embargo, los métodos actuales para cuantificar la incertidumbre de sus resultados colectivos dependen casi exclusivamente de estadísticas de votación superficiales (como el conteo de votos mayoritarios).

Este enfoque tiene limitaciones críticas:

• Pérdida de información semántica: Trata todas las discrepancias de la misma manera (ej. un voto 3-2 se considera igual de confiable sin importar por qué los agentes minoritarios disienten).
• Falta de calibración: Las probabilidades derivadas de la votación (ej. 60% para 3-2) a menudo no reflejan la precisión real del sistema, llevando a una sobreconfianza o subconfianza.
• Ignorancia del contexto: No distingue entre una minoría que aporta nueva evidencia convincente (lo que debería reducir la confianza en la mayoría) y una minoría que ofrece argumentos débiles o irrelevantes.

2. Metodología: El Marco DISCOUQ

El authors proponen DISCOUQ (Disagreement-Structure Confidence for Uncertainty Quantification), un marco que va más allá del conteo de votos para analizar la estructura interna del desacuerdo entre agentes. La premisa central es que la forma en que los agentes discrepan contiene información rica sobre la fiabilidad de la respuesta mayoritaria.

El sistema extrae dos familias complementarias de características (features) de las salidas de los agentes:

A. Características de Estructura Lingüística (Linguistic Structure Features):
Se utiliza un LLM (con temperatura 0) para analizar los textos de razonamiento de los agentes y generar puntuaciones sobre:

• Superposición de evidencia: Grado en que la mayoría y la minoría citan los mismos hechos.
• Nueva información de la minoría: Extensión de argumentos genuinamente nuevos introducidos por la minoría.
• Fuerza del argumento de la minoría: Solidez lógica del razonamiento minoritario, independientemente de su corrección.
• Lenguaje de confianza de la mayoría: Si la mayoría usa lenguaje hedging (dudoso) o asertivo.
• Profundidad de la divergencia: En qué etapa del razonamiento se separan los agentes (inicio, medio o conclusión final).

B. Características de Geometría de Incrustación (Embedding Geometry Features):
Se utilizan vectores de incrustación (embeddings) de los textos de razonamiento (mediante un modelo como BGE-large) para calcular métricas geométricas basadas en la distancia coseno:

• Dispersión general: Distancia media entre todos los agentes.
• Cohesión de la mayoría: Distancia media dentro del grupo mayoritario.
• Distancia de clúster: Distancia entre los centroides de la mayoría y la minoría.
• Grado de outlier de la minoría: Distancia de los agentes minoritarios al centroide de la mayoría.
• Ratio de varianza PCA: Cuánta varianza explican los componentes principales, indicando la alineación de las representaciones.

Métodos de Cuantificación Propuestos:
Se proponen tres métodos de complejidad creciente para predecir la probabilidad de que la respuesta mayoritaria sea correcta:

1. DISCOUQ-LLM: Regresión logística sobre las 9 características de estructura lingüística. (Alta interpretabilidad).
2. DISCOUQ-Embed: Regresión logística sobre las 8 características de geometría de incrustación. (No requiere llamadas adicionales al LLM para el análisis).
3. DISCOUQ-Learn: Una red neuronal (MLP) que combina todas las características (17 en total) para un aprendizaje no lineal.

3. Configuración Experimental

• Benchmarks: Se evaluó en cuatro conjuntos de datos diversos: StrategyQA, MMLU, TruthfulQA y ARC-Challenge (total de 2,750 preguntas).
• Modelo de Agentes: Se utilizó un sistema de 5 agentes especializados (con roles como "Analista", "Abogado del Diablo", "Verificador Sistemático", etc.) basados en Qwen3.5-27B.
• Baselines: Se compararon contra métodos estándar como conteo de votos, entropía de votos, confianza verbalizada, auto-consistencia, y un "Agregador LLM" (un LLM que lee todas las respuestas y decide).

4. Resultados Clave

Los experimentos demostraron que DISCOUQ supera a los métodos existentes en discriminación y calibración:

• Rendimiento General (AUROC):
  • DISCOUQ-LLM logró el mejor AUROC promedio (0.802), superando al mejor baseline (Agregador LLM con 0.791).
  • DISCOUQ-Learn obtuvo un segundo lugar (0.790), y DISCOUQ-Embed (0.773) fue comparable a los baselines no basados en LLM pero con mejor calibración.
• Calibración (ECE - Error de Calibración Esperado):
  • DISCOUQ-LLM redujo el ECE promedio de 0.098 (Agregador LLM) y 0.084 (Conteo de Votos) a 0.036. Esto indica que las probabilidades generadas son mucho más fieles a la precisión real.
• Rendimiento por Nivel de Desacuerdo:
  • Las mejoras más significativas se observaron en el nivel de "desacuerdo débil" (donde la votación es ambigua, ej. 3-2). Aquí, el conteo de votos falla, pero DISCOUQ logra extraer señales sutiles de la estructura del argumento.
  • En casos de unanimidad, DISCOUQ-LLM aún puede discriminar entre respuestas correctas e incorrectas utilizando características de confianza verbalizada y estructura.
• Generalización:
  • Las características aprendidas en un benchmark se generalizan casi perfectamente a otros (pérdida de rendimiento < 0.1% en validación cruzada), lo que sugiere que capturan patrones universales de desacuerdo.
• Costo-Eficiencia:
  • DISCOUQ-LLM es altamente eficiente: requiere solo 1 llamada LLM adicional por pregunta no unánime (para el análisis de estructura), logrando el mejor rendimiento global.
  • DISCOUQ-Embed requiere 0 llamadas adicionales al LLM (solo inferencia de embeddings), ofreciendo una alternativa de bajo costo con buena calibración.

5. Contribuciones y Significancia

• Nueva Perspectiva: El trabajo formaliza el concepto de "estructura de desacuerdo" como un conjunto de características lingüísticas y geométricas, demostrando que cómo los agentes discrepan es tan importante como si discrepan.
• Superación del Conteo de Votos: Demuestra que la votación mayoritaria es una aproximación grosera que desperdicia información semántica valiosa.
• Calibración Nativa: Al utilizar regresión logística sobre características informativas, el sistema produce probabilidades naturalmente bien calibradas, evitando la necesidad de ajustes post-hoc complejos.
• Aplicabilidad Práctica: Ofrece un equilibrio óptimo entre costo computacional y precisión, permitiendo la predicción selectiva (el sistema puede abstenerse de responder cuando la incertidumbre es alta) con mayor precisión que los métodos actuales.

Limitaciones:
El estudio se centra en tareas de preguntas y respuestas cerradas (sí/no o múltiple opción). La extensión a generación abierta requeriría nuevos criterios de evaluación. Además, las características extraídas dependen de la calidad del modelo analista y la generalización completa entre familias de modelos diferentes aún está en exploración.

En conclusión, DISCOUQ representa un avance significativo hacia sistemas de IA multi-agente más robustos y confiables, transformando el "ruido" del desacuerdo en una señal estructurada para la estimación de incertidumbre.