From Debate to Decision: Conformal Social Choice for Safe Multi-Agent Deliberation

Resumen Técnico: Conformal Social Choice para la Deliberación Segura de Agentes Múltiples

1. El Problema: El Riesgo del Consenso Erróneo

Los sistemas de debate multi-agente con Grandes Modelos de Lenguaje (LLM) han demostrado mejorar el razonamiento y la facticidad. Sin embargo, existe un fallo crítico en los sistemas de despliegue actuales: asumen que el acuerdo unánime entre agentes es evidencia de corrección.

• Refuerzo Social y Consenso Erróneo: Los agentes LLM tienden a conformarse con las opiniones mayoritarias percibidas (sycophancy). En un debate, esto puede llevar a que múltiples agentes converjan en una respuesta incorrecta con alta confianza aparente.
• Fallo de los Métodos Actuales: Las estrategias de parada basadas en consenso (detener el debate cuando todos coinciden) o votación mayoritaria no tienen mecanismos para detectar cuándo ese consenso es erróneo. Esto resulta en una "compromiso no calibrado": el sistema ejecuta una acción automática basada en un error colectivo sin ninguna verificación de seguridad.
• La Pregunta Clave: El problema no es solo "¿quién ganó el debate?", sino "¿cuándo es seguro actuar?". Los sistemas actuales carecen de una respuesta a cuándo deben abstenerse y escalar a un humano.

2. Metodología: Conformal Social Choice

Los autores proponen Conformal Social Choice, una capa de decisión post-hoc (posterior) que transforma las salidas del debate en decisiones calibradas de "actuar vs. escalar", sin necesidad de reentrenar los modelos ni acceder a sus pesos internos.

El pipeline consta de cuatro etapas:

1. Debate con Elicitación de Probabilidades Verbales:

   • Un conjunto heterogéneo de agentes LLM (ej. Claude Haiku, DeepSeek-R1, Qwen) debate durante $T$ rondas.
   • En lugar de usar log-probabilidades (a menudo inaccesibles en APIs), se solicita a cada agente que genere explícitamente una distribución de probabilidad verbalizada sobre las opciones de respuesta.

2. Agregación de Probabilidad Social (Pool de Opinión Lineal):

   • Las distribuciones individuales se agregan mediante un pool de opinión lineal (una mezcla ponderada).
   • Se utiliza una distribución de probabilidad social completa ($P_{social}$) en lugar de una sola votación. Esto preserva la intensidad de las preferencias (ej. 0.9 vs 0.6) que la votación mayoritaria pierde.
   • Se emplean pesos uniformes por defecto para mantener el enfoque black-box y post-hoc.

3. Calibración Conformal (Split Conformal Prediction):

   • Se aplica la predicción conformal dividida sobre las probabilidades sociales agregadas.
   • Se define una puntuación de no conformidad: $snc(x, y) = 1 - P_{social}(y | x)$.
   • Utilizando un conjunto de calibración separado, se calcula un umbral $\hat{q}$ que garantiza una cobertura marginal: la probabilidad de que la respuesta correcta esté en el conjunto predicho es $\ge 1 - \alpha$.
   • Esto no asume que los modelos individuales estén bien calibrados; la garantía surge de la agregación y la calibración estadística.

4. Construcción del Conjunto de Predicción y Política de Acción Jerárquica:

   • Se construye un conjunto de predicción $C(x)$ que contiene todas las opciones cuya probabilidad social supera el umbral calibrado.
   • Política de Acción:
     • $|C(x)| = 1$ (Singleton): El sistema actúa autónomamente (la respuesta es única y segura).
     • $|C(x)| > 1$: El sistema se abstiene y escala el conjunto de opciones reducidas a un experto humano.
     • $|C(x)| = 0$: Se detecta una anomalía y se requiere revisión manual completa.

3. Contribuciones Clave

1. Reencuadre de la Decisión: Cambian el paradigma de "selección de respuesta" a "selección de acción controlada por riesgo". Introducen un pipeline black-box que convierte salidas de debate en decisiones de conjunto con garantías de cobertura marginal.
2. Cuantificación del Fallo: Demuestran que el 23.9% de los casos inicialmente disputados terminan en un consenso unánime incorrecto (consenso erróneo) debido al refuerzo social.
3. Mitigación Operativa: La capa conformal intercepta el 81.9% de estos errores de consenso erróneo (en $\alpha=0.05$) antes de que se ejecuten acciones automáticas, logrando una precisión en los casos autónomos de hasta un 22.1% superior a la parada por consenso tradicional.

4. Resultados Experimentales

El método se evaluó en MMLU-Pro (8 dominios profesionales: Matemáticas, Física, Ley, etc.) con tres agentes heterogéneos.

• Garantía de Cobertura: La cobertura empírica se mantuvo dentro de 1-2 puntos del objetivo teórico ($1-\alpha$) en todos los dominios y rondas de debate.
• Intercepción de Errores:
  • En dominios de alta ambigüedad como Ley, el consenso tradicional tiene una precisión de ~67.9%. El método conformal eleva la precisión de los casos autónomos al 90.0%, pero a costa de escalar el 93.8% de los casos a humanos (solo resuelve autónomamente el 6.2%).
  • En dominios de razonamiento formal como Matemáticas, el método mantiene una alta tasa de automatización (98.2%) con precisión del 94.6%.
• Efecto de Selección: La mejora en precisión no se debe a que el debate sea "más inteligente", sino a un efecto de selección: el sistema se niega a actuar en los casos donde el debate converge erróneamente con confianza.
• Ratio de Seguridad: Por cada error nuevo introducido por el método conformal (singleton incorrecto), se previenen aproximadamente 240 errores de consenso erróneo que el sistema tradicional habría ejecutado.

5. Significado e Impacto

• Seguridad sobre Automatización: El trabajo demuestra que la seguridad en sistemas multi-agente no proviene de mejorar el razonamiento interno, sino de tener un mecanismo de rechazo calibrado. Es mejor escalar a un humano que cometer un error automático con confianza.
• Ajustabilidad: El punto de operación es ajustable por el usuario mediante el parámetro $\alpha$. Un $\alpha$ más bajo (mayor seguridad) reduce la automatización pero aumenta la precisión de los casos resueltos; un $\alpha$ más alto aumenta la automatización con un riesgo controlado.
• Generalización: Al ser un método post-hoc que solo requiere distribuciones de probabilidad verbalizadas, es aplicable a cualquier sistema multi-agente sin necesidad de acceso al código fuente o reentrenamiento de los modelos.
• Limitaciones: La garantía es marginal (promedio poblacional), no condicional (por subgrupos específicos). Además, el costo computacional del debate y la necesidad de parsing de probabilidades son desafíos para aplicaciones de baja latencia.

En conclusión, Conformal Social Choice proporciona un marco matemático riguroso para gestionar la incertidumbre en sistemas de IA colaborativa, transformando la "confianza aparente" en un riesgo cuantificable y gestionable, permitiendo que la automatización sea segura incluso cuando los agentes están equivocados.