Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence

Resumen Técnico: Contratos de Comportamiento de Agentes II

Planteamiento del Problema
Los marcos actuales para certificar la fiabilidad de los sistemas multi-agente se basan en un enfoque compositivo: acotar la fiabilidad de los componentes individuales y multiplicar estos límites para derivar una garantía para todo el sistema. Este paso está licenciado por un supuesto de independencia condicional (C5), que postula que la satisfacción del contrato de un agente descendente es independiente de la ejecución de un agente ascendente dado un traspaso conforme. Los autores argumentan que este supuesto se menciona habitualmente pero rara vez se pone a prueba, y es particularmente inverosímil cuando los agentes redundantes (por ejemplo, un escritor y un revisor) comparten los mismos pesos del modelo subyacente. Si los componentes comparten un modelo, comparten "puntos ciegos", lo que conduce a una dependencia positiva en los fallos. El artículo demuestra que ignorar esta dependencia resulta en un "error de signo" que juega en contra del operador: la dependencia positiva infla las probabilidades de fallo conjunto por encima del producto de independencia, haciendo que los diseños redundantes se sobreestimen precisamente cuando más se necesitan.

Además, el artículo identifica que las "soluciones" estándar son inadecuadas:

1. Eliminar el supuesto por completo conduce a los límites de Fréchet–Hoeffding, que a menudo son vacuos (suelo certificado de cero) cuando la fiabilidad media del componente cae por debajo de $1 - 1/m$.
2. Ajustar un modelo de dependencia paramétrico (por ejemplo, una cópula gaussiana de un solo factor) es peor; los autores demuestran que a medida que el tamaño de la muestra $n \to \infty$, la cobertura de un límite inferior de bootstrap de un modelo mal especificado colapsa a cero. La brecha de identificación permanece en $O(1)$ mientras que la incertidumbre del bootstrap se reduce como $O(n^{-1/2})$, lo que significa que más datos hacen que el certificado sea erróneamente confiable sin ningún síntoma visible.

Metodología
El artículo emplea un diseño experimental riguroso y preregistrado combinado con un nuevo marco de certificación de muestra finita.

• Diseño Experimental: Los autores llevaron a cabo una campaña de 30,820 misiones en 12 brazos, con un núcleo de confirmación de 18,000 misiones en una topología de traspaso de dos agentes. Manipularon la "condición de compartir" en tres niveles:

  1. Mismo Modelo: Ambos agentes ejecutan mistral-small-24b.
  2. Mismo Proveedor: Los agentes ejecutan modelos diferentes del mismo proveedor (mistral-small-24b vs. ministral-8b).
  3. Diferente Proveedor: Los agentes ejecutan modelos de diferentes proveedores.
     La puntuación fue determinista (código de oro) sin un LLM en el bucle de juicio para evitar la correlación inducida.

• Marco de Certificación (Enfoque por Niveles):

  • Nivel 0 (Observado): Límite inferior directo de Clopper–Pearson sobre el resultado observado del grafo (requiere ejecución de extremo a extremo).
  • Nivel 1 (Agnóstico a la Cópula): Un certificado de muestra finita que asume ninguna estructura de dependencia. Formula un programa lineal (LP) sobre la distribución conjunta de los resultados de los agentes, restringido por una caja Bonferroni–Clopper–Pearson alrededor de los momentos de co-ejecución medidos (marginales, pares y momentos de co-éxito de orden superior). Este enfoque es sólido, agudo para la información suministrada y monótono en la familia de momentos bajo una asignación específica.
  • Nivel 2 (Basado en Modelo): Un suelo de solo diagnóstico basado en una cópula gaussiana ajustada, explícitamente no utilizado para la certificación debido al colapso de cobertura demostrado.

• Certificación Válida en Cualquier Momento: Para abordar la realidad del monitoreo continuo (parada opcional), el artículo introduce un e-proceso basado en la probabilidad de teoría de juegos. Este certificado restringe solo la media condicional del resultado del grafo, requiriendo ninguna asunción de independencia entre misiones o componentes. Recupera exactamente la Prueba de Razón de Verosimilitud Secuencial (SPRT) en la fracción de apuesta óptima.

Resultos Clave

1. Fallo Correlacionado: En la condición de mismo_modelo, dos instancias del mismo modelo fallan conjuntamente en el 90.0% de las misiones en las que cualquiera de ellos falla ($\log OR = 6.66$, 95% CI [6.38, 7.00]). Esto confirma que compartir el modelo induce una enorme dependencia positiva.
2. Modelo vs. Proveedor: Sustituir por un modelo diferente reduce significativamente la asociación (6/6 contrastes en todas las topologías fueron significativos). Sin embargo, sustituir por un proveedor diferente (manteniendo los modelos diferentes) no redujo significativamente la asociación. La variable "proveedor" no fue un predictor fiable de la correlación de fallos una vez que la identidad del modelo difirió.
3. Sensibilidad Marginal: Se muestra que las estadísticas de dependencia comunes como el solapamiento de Jaccard, $\phi$, y Kendall's $\tau_a$ están acotadas por las tasas de fallo marginales. En condiciones específicas, estas estadísticas revirtieron el orden aparente de las condiciones puramente debido a las diferencias en las tasas de fallo marginales, mientras que las estadísticas libres de marginales (log odds ratio, Yule's Q) se mantuvieron consistentes.
4. Mejora de la Certificación: Enriquecer el conjunto de momentos de 10 funcionales (marginales + pares) a 14 (añadiendo triples) sobre datos reales estrechó el intervalo identificado en un 85.7% y elevó el suelo certificado de 0.2455 a 0.4116.
5. Colapso Basado en el Modelo: En un experimento controlado, la cobertura de un suelo basado en modelos cayó de 0.36 a 0.01 a medida que el tamaño de la muestra aumentó de 250 a 2000 bajo una especificación errónea indistinguible de momentos, mientras que el suelo agnóstico a la cópula de Nivel 1 mantuvo el 100% de la cobertura.
6. Validez en Cualquier Momento: La implementación del e-proceso mantuvo una tasa de error de Tipo-I empírica de 0.0471 o inferior en todas las fracciones de apuesta probadas, incluso bajo parada arbitraria.

Significancia y Reivindicaciones
El artículo afirma proporcionar el primer certificado de fiabilidad de muestra finita y agnóstico a la cópula para tuberías de agentes compuestas que no asume independencia. Su contribución principal no es simplemente medir que los fallos están correlacionados (algo que trabajos concurrentes han hecho), sino proporcionar un límite sólido, agudo y accionable que se degrada honestamente cuando la dependencia no es medida, en lugar de producir silenciosamente un número erróneamente confiable.

Los autores declaran explícitamente lo que no reclaman:

• No reclaman haber descubierto por primera vez que los modelos compartidos fallan juntos.
• No reclaman un orden de tres niveles de intercambio (mismo modelo > mismo proveedor > diferente proveedor), ya que el contraste a nivel de proveedor no logró replicarse.
• No reclaman que el certificado escale a un gran número de agentes ($m$) sin un costo exponencial, ni que se aplique a agregadores que sean ellos mismos LLMs.
• No reclaman que los resultados se generalicen a modelos de frontera o tareas de diálogo abiertas, ya que la evaluación se limitó a modelos de tamaño medio y tareas financieras/minoristas deterministas.

El trabajo se presenta como un correctivo al "fallo silencioso" de los supuestos de independencia en la fiabilidad multi-agente, ofreciendo una metodología que hace que el fallo correlacionado sea medible y asegura que las garantías se degraden de forma transparente en lugar de silenciosa. Todo el código, contratos, generadores y preregistraciones se liberan bajo AGPL-3.0.