Resumen Técnico: Localmente Coherente, Globalmente Incoherente

1. Enunciado del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) multi-componente a menudo descomponen problemas conjuntos complejos en sub-tareas gestionadas por sub-agentes o herramientas especialistas. Aunque los componentes individuales pueden ser localmente coherentes (internamente consistentes y calibrados en sus sub-preguntas específicas), la agregación de sus salidas puede violar los axiomas básicos de la probabilidad. Este fenómeno, denominado "localmente coherente, globalmente incoherente", resulta en un estado de creencia compuesto que asigna una masa de probabilidad total mayor que 1 (o viola restricciones lógicas como $P(A) + P(\neg A) = 1$).

Las métricas de evaluación existentes (precisión por pregunta, calibración, predicción conformal) operan sobre salidas individuales de modelos y no logran detectar violaciones lógicas entre componentes. En consecuencia, los agentes multi-componente pueden producir exposiciones de "libro holandés" (Dutch-book)—combinaciones de apuestas que garantizan una pérdida para el sistema—estrictamente debido a la incoherencia introducida durante la composición, incluso cuando cada componente es individualmente sólido.

2. Metodología

Marco Teórico

El artículo formaliza el modo de fallo utilizando geometría convexa y teoría de la probabilidad:

• Residual Composicional ($\varepsilon^\star$): Definido como la distancia $L_2$ entre la cotización compuesta (tras reparaciones locales) y el poliedro coherente conjunto ($M_\star$). Este poliedro representa el conjunto de todos los vectores de probabilidad que satisfacen las restricciones lógicas conjuntas (por ejemplo, particiones, negaciones, conjunciones).
• Dicotomía de Estructura de Producto (Teorema 3.3): El artículo establece una condición necesaria y suficiente para que la coherencia local implique coherencia global. Bajo "agregación seleccionada por el propietario" (donde cada componente posee un subconjunto distinto de coordenadas), la coherencia global está garantizada si y solo si el poliedro conjunto se factoriza como un producto cartesiano de poliedros locales ($M_\star = M_\boxtimes$). Si existen restricciones de acoplamiento entre componentes (por ejemplo, una partición que suma 1), la coherencia local es insuficiente, y es posible que $\varepsilon^\star > 0$.
• Predicción de Magnitud (Corolario 3.9): El residual cuadrático esperado se predice mediante una forma de cociente de Rayleigh basada en la covarianza del panel especialista y el vector normal de la restricción vinculante. Esto permite una predicción en forma cerrada de la magnitud de la incoherencia antes de que ocurra el enrutamiento.
• Límite de Exposición (Corolario 3.5): Bajo el Teorema Fundamental de la Valoración de Activos (FTAP), la exposición al libro holandés a nivel de sistema está acotada por $\sqrt{m^\star} \varepsilon^\star$, donde $m^\star$ es el número de coordenadas conjuntas.

Reparación Algorítmica

• Proyección Jerárquica de Boyle–Dykstra: Para reparar composiciones incoherentes de manera determinista, los autores proponen un algoritmo de proyección cíclica. Este proyecta iterativamente la cotización compuesta sobre los poliedros locales y el conjunto de acoplamiento (restricciones) hasta la convergencia al poliedro coherente conjunto.
• Monitoreo Secuencial: Se introduce un proceso-e válido en cualquier momento (anytime-valid e-process) para monitorear flujos de residuos composicionales a lo largo del tiempo, permitiendo a los operadores detectar incoherencia persistente sin fijar un horizonte de parada con antelación.

Configuración Experimental

Los autores evaluaron 1.876 clíques de conjuntos en cuatro clases de relaciones lógicas: Negación, Conjunción, Disyunción y Partición.

• Modelos: Un panel de nivel medio (Claude-Haiku-4.5, GPT-5.4-mini/nano, Llama-3.3-70b) y un panel de vanguardia (incluyendo GPT-5.5, Claude-Opus-4.7, DeepSeek-V3.2).
• Benchmarks: Paleka (consistencia entre preguntas) y Polymarket (eventos de partición).
• Protocolos: Asignación aleatoria de preguntas a especialistas, enrutamiento estructurado y harnesses de discreción del planificador.

3. Resultados Clave

Hallazgos Empíricos

• Prevalencia de Incoherencia: Se observó $\varepsilon^\star > 0$ en el 33–94% de los clíques, dependiendo de la clase de relación. Las tareas de partición mostraron la tasa de fallo más alta (94%), seguida de negación (66%), disyunción (43%) y conjunción (33%).
• Predicción de Magnitud: La predicción del cociente de Rayleigh coincidió con los residuos observados dentro de un 7% para tres de las cuatro clases de relación. La clase de conjunción subestimó ligeramente (0.83×) debido a que la media del panel yacía en el interior del semiespacio de Fréchet, un régimen predicho por la teoría.
• Impacto en la Toma de Decisiones: En 1.770 apuestas resueltas, la composición ingenua incurrió en un arrepentimiento de +0.115 nats por apuesta bajo una regla de asignación proporcional. La reparación JCD jerárquica redujo esto a casi cero, igualando el rendimiento de un oráculo de un solo LLM.
• Fallo de Mitigaciones del LLM:
  • Recuperación: Aumentar a los especialistas con herramientas de búsqueda no logró reducir $\varepsilon^\star$; en 20 de 30 casos, aumentó la incoherencia.
  • Ingeniería de Prompts: La prompting consciente de la partición redujo los residuos pero dejó el 53% de las particiones con $\varepsilon^\star > 0.05$.
  • LLMs Agregadores: Delegar la coherencia a un LLM agregador redujo el residual medio, pero aún resultó en que el 15% de las particiones superaran el umbral de 0.05 y el 7% regresaran en comparación con la composición ingenua.
  • Modelos de Vanguardia: Incluso con un panel exclusivo de vanguardia, $\varepsilon^\star > 0$ persistió en el 97.8% de las apuestas de partición, aunque la magnitud disminuyó un 39%.

Validación del Mecanismo

• Visibilidad del Acoplamiento: Un experimento donde se mostró explícitamente a los especialistas las restricciones de partición y las cotizaciones de pares ("INFORMADO") redujo $\varepsilon^\star$ significativamente en comparación con prompts aislados ("CIEGO"), confirmando que el fallo surge porque los especialistas carecen de visibilidad sobre las restricciones entre componentes.
• Topología de Enrutamiento: El enrutamiento estructurado (asignar modelos específicos a tipos de relación específicos) no eliminó la incoherencia, aunque alteró la distribución de los residuos.

4. Contribuciones

1. Formalización de un Modo de Fallo: El artículo define y caracteriza el régimen "localmente coherente, globalmente incoherente", demostrando que la calibración por componente es insuficiente para la coherencia a nivel de sistema bajo acoplamiento.
2. Certificado de Tiempo de Ejecución ($\varepsilon^\star$): Introduce una métrica computable y libre de distribuciones para la incoherencia a nivel de sistema que requiere únicamente la salida compuesta y las restricciones declaradas.
3. Dicotomía Teórica: Proporciona una condición precisa (Teorema 3.3) para cuándo la coherencia local es suficiente, distinguiendo entre la factorización de estructura de producto y las restricciones acopladas.
4. Reparación Constructiva: Demuestra que la proyección jerárquica de Boyle–Dykstra puede eliminar determinísticamente $\varepsilon^\star$ al costo de una única resolución de programación cuadrática (QP), superando a todas las alternativas basadas en prompts o agregadores LLM.
5. Benchmark Empírico: Establece un benchmark descomponible donde el orden de dificultad (Partición > Negación > Disyunción > Conjunción) se alinea con las predicciones teóricas sobre la restrictividad del poliedro.

5. Significado y Afirmaciones

El artículo afirma que la coherencia a nivel de sistema es una propiedad distinta de la calibración por componente que debe gestionarse explícitamente en sistemas multi-agente. La contribución principal es el replanteamiento operativo de $\varepsilon^\star$ como un certificado de tiempo de ejecución que puede detectar y reparar exposiciones de libro holandés que ningún componente individual puede identificar.

Los autores enfatizan que:

• La ingeniería de prompts y la recuperación son insuficientes para resolver este problema; el fallo es estructural a la composición de pronósticos probabilísticos aislados.
• La reparación geométrica es necesaria y suficiente para restaurar la coherencia cuando el conjunto de acoplamiento es explícito.
• El fallo persiste a través de las escalas de modelos, lo que indica que aumentar la capacidad del modelo no resuelve inherentemente la incoherencia composicional.

El trabajo posiciona a $\varepsilon^\star$ como una barrera de seguridad crítica para aplicaciones de alto riesgo (pronósticos, soporte de decisiones) donde la consistencia lógica es primordial, ofreciendo una solución determinista que complementa los métodos existentes de cuantificación de incertidumbre como la predicción conformal.