Resumen Técnico: Audita – Auditoría Certificada y Atribución Causal en Sistemas Multi-Agente Autónomos

1. Planteamiento del Problema

A medida que la automatización física escala hacia flotas de máquinas encarnadas comandadas por cerebros de IA (por ejemplo, planificadores de modelos de lenguaje y modelos de visión-lenguaje-acción), las decisiones conjuntas conllevan consecuencias físicas y económicas. Cuando ocurren resultados adversos (por ejemplo, lesiones de trabajadores, fallos de producción), determinar la responsabilidad es actualmente imposible de defender. Los enfoques existentes dependen de registros de ejecución que carecen de prueba criptográfica de origen, orden o integridad, lo que los hace susceptibles de manipulación. Además, los métodos de atribución actuales suelen identificar un único "culpable", fallando al no considerar las estructuras causales complejas comunes en los sistemas multi-agente:

• Sobredeterminación: Múltiples causas suficientes donde cualquiera de ellas habría desencadenado el resultado.
• Preemción: El efecto de un comando es bloqueado antes de alcanzar el resultado.
• Omisión: Un fallo al actuar (por ejemplo, un supervisor que no emite un comando de parada).
• Responsabilidad Graduada: La responsabilidad es a menudo una cuestión de grado más que un puntero binario.

Los métodos actuales no pueden verificar la integridad de la evidencia que analizan, ni poseen la semántica causal para manejar estas estructuras no monotónicas, lo que conduce a altas tasas de error en la asignación de culpas.

2. Metodología: El Marco de Trabajo Audita

Audita introduce un sistema de auditoría de dos capas que acopla un sustrato de evidencia a prueba de manipulaciones con un motor de atribución causal certificado.

A. La Capa de Evidencia (Registro a Prueba de Manipulación)

Audita reemplaza los registros estándar con un registro de comandos asegurado criptográficamente.

• Mensajes Contables: Cada comando entre agentes es una tupla firmada $m = (a, \pi, C, \phi, \sigma)$, que contiene el autor, la carga útil, las citas (hashes de mensajes sobre los que se actuó), el predicado de efecto y la firma.
• Épocas Selladas con Merkle: Los mensajes se anexan a un registro inmutable. En intervalos fijos (épocas), el registrador firma la raíz de Merkle de la ventana de mensajes y la encadena al hash del bloque anterior.
• Verificación: Esta estructura permite que cualquier parte (proveedor, operador, regulador) verifique la autoría, el orden y la integridad. El registro se divide en:
  • $G_{cert}$: Mensajes con firmas válidas, citas resueltas y rutas de Merkle intactas.
  • Conjuntos de Sospechosos/Ausentes: Mensajes que fallan la verificación o están ausentes del registro.
• Modelo de Amenaza: El sistema asume un adversario Dolev-Yao que puede leer, retrasar, reordenar o inyectar tráfico, e incluso eliminar registros. Sin embargo, asume una custodia de claves sólida (las claves no son robadas) y un canal registrado (toda influencia atraviesa el bus).

B. La Capa Causal (Atribución Certificada)

La atribución se calcula únicamente sobre el subconjunto verificado ($G_{cert}$) mediante un proceso de tres pasos:

1. Segmentación y Partición de Integridad: Ante un resultado adverso declarado $Y$, el sistema realiza un corte hacia atrás (backward slice) del registro para identificar todos los mensajes certificados con una ruta causal hacia $Y$.
2. Puerta de Producción: Los candidatos se filtran para asegurar que sus efectos comprometidos fueron realmente realizados y propagados al resultado. Esto elimina los comandos prevenidos (aquellos cuyos efectos nunca llegaron).
3. Causalidad Graduada y Certificación:
   • Puntuación Contrafactual: Los candidatos supervivientes se gradúan utilizando una definición de causalidad real modificada de Halpern–Pearl. Se identifican un conjunto de causa mínima $X^*$ y un conjunto de testigos $W^*$. El grado de responsabilidad $\rho$ se calcula como:
     $$\rho(X^*, W^*) = \frac{1}{|X^*| + |W^*|}$$
     Esto maneja naturalmente la redundancia (división de la responsabilidad) y la omisión (tratando la ausencia como una variable).
   • Certificación de Reejecución: Los supuestos causales no se reportan hasta que son reejecutados. El sistema interviene en $X^*$ (manteniendo $W^*$ constante) y vuelve a ejecutar el segmento. Si el resultado adverso se falsea o el riesgo se reduce por un margen $\delta$, la causa es certificada.
   • Estructura del Veredicto: El resultado es un cuádruple por principal: Deber (obligaciones), Incumplimiento (violación del deber), Causalidad ($\rho$ graduado con recibos) y Daño. Esto permite hallazgos matizados, como un agente "negligente pero inerte" (incumplimiento sin causalidad) o un "conducto" (causalidad sin incumplimiento).

3. Contribuciones Clave y Garantías Teóricas

Audita proporciona garantías formales bajo tres supuestos (pila reproducible, canal registrado, custodia de claves sólida):

• Teorema 1 (Fundamentación de la Culpabilidad): Un agente que sigue las reglas nunca puede ser hecho parecer culpable. La culpabilidad requiere que la conducta certificada del acusado viole un deber declarado.
• Teorema 2 (Responsabilidad de Desplazamiento de Culpa): Si una coalición intenta desviar la culpa hacia un principal cumplidor, dicho intento es detectado. Las desviaciones que causan el desplazamiento son graduadas y atribuidas a los atacantes mediante un certificado verificable por máquina.
• Teorema 3 (Sin Exoneración Silenciosa): La destrucción de evidencia no puede exonerar silenciosamente a un culpable certificado. Solo amplía el intervalo de incertidumbre o señala evidencia faltante; no puede reducir el límite inferior de responsabilidad de un agente plenamente certificado.
• Teorema 4 (Barrera de Completitud): Ningún auditor confinado al registro puede certificar toda la culpa del resultado sin resolver la tarea auditada. Si existen errores honestos, un estándar no puede ser tanto sólido (sin falsos positivos) como completo (sin falsos negativos) sin la verdad fundamental.
• Teorema 5 (Enmarcado Fundamentado): El certificado de desplazamiento de culpa persiste en cada meta-orden; enmarcar a quien enmarca es imposible sin la propia desviación certificada del enmarcador.

4. Resultados Experimentales

Audita fue evaluado en dos registros: canales de modelos de lenguaje en vivo y un banco de pruebas de estructuras de incidentes físicos.

A. Fallos Multi-Agente en Vivo (Pipeline GSM8K)

• Configuración: Un pipeline de planificadores, solucionadores, agregadores y verificadores resolviendo problemas matemáticos.
• Hallazgos: El 95–98% de los incidentes adversos fueron fallos conjuntos de solucionador-agregador (soberdeterminados), contradiciendo la suposición de un único culpable de las métricas existentes.
• Rendimiento: Audita redujo el error de responsabilidad de la mejor métrica base de juez de LLM de 0.589 a 0.170 (una reducción de un tercio). La variante "desplegable" (sin acceso a las claves de respuesta) logró 0.159, probando que la mejora no es un artefacto de acceso privilegiado.

B. Benchmark de Estructuras de Incidentes Físicos

• Configuración: Una biblioteca de más de 1,000 incidentes basados en registros públicos de accidentes de robots, cubriendo redundancia, preemción, omisión y gemelos inertes (logs bit a bit idénticos con diferentes resultados físicos).
• Rendimiento: Audita logró un error de responsabilidad de 0.000 en todas las estructuras, recuperando perfectamente la verdad fundamental plantada.
• Fallo de la Base: La puntuación contrafactual de sitio único falló en redundancia (error 1.0) y omisión (error 0.5). Los jueces de LLM fallaron en redundancia (error ~0.5) y no pudieron distinguir gemelos inertes.
• Controles Negativos: En 300 extracciones de "sin causa", Audita fabricó cero culpables, mientras que las bases (jueces y detectores de anomalías) culparon a agentes inocentes en el 100% de los casos.

C. Robustez

• Falsificación: Bajo falsificación de registro, el veredicto de Audita se mantuvo exacto (error 0.000), mientras que las bases no firmadas vieron errores subir a 0.365 y culparon falsamente a víctimas inocentes.
• Ataques Internos: Incluso con claves válidas, los infiltrados no pudieron fabricar culpabilidad para un principal cumplidor (Teorema 1). Los intentos de desviar la culpa fueron ellos mismos graduados y atribuidos a los atacantes.

5. Significado y Reivindicaciones

El artículo argumenta que Audita transforma la pregunta de "¿quién tiene la culpa?" de una discusión sobre registros en un cálculo sobre evidencia.

• Precondición para la Responsabilidad: Audita postula que tal capa es una precondición necesaria para colectivos autónomos que operan en entornos donde se exige rendición de cuentas (por ejemplo, fábricas, logística, espacios públicos).
• Veredictos Basados en Evidencia: Cambia el paradigma de "nombrar un culpable" a proporcionar un "relato graduado y vinculado a la evidencia" destinado a servir como entrada para el juicio humano y legal, no como un sustituto.
• Alineación Regulatoria: El diseño aborda directamente los requisitos de la Ley de IA de la UE, proponiendo que los registros deben estar firmados, citados, sellados y ser causalmente analizables para comprar la responsabilidad.
• Modestia: Los autores reconocen limitaciones: el sistema maneja incidentes discretos (no daños acumulativos sin umbrales), y la evidencia cuantitativa es actualmente simulada (aunque basada en informes de accidentes reales). El sistema no asume la presunción de inocencia; demuestra la inocencia para los registros certificados.

En resumen, Audita proporciona el primer mecanismo para certificar que un resultado adverso fue causado por agentes específicos en un grado específico, incluso en presencia de estructuras causales complejas e intentos adversos de manipular el registro, siempre que se mantengan las suposiciones criptográficas y de replicación.