Resumen Técnico: AuditRepairBench

Enunciado del Problema

El artículo identifica un modo de fallo específico en los rankings de reparación de agentes: Inestabilidad en la Clasificación del Canal del Evaluador. Si bien la estabilidad de las pruebas se atribuye a menudo al ruido genérico del evaluador o a la falta de fiabilidad de los modelos de lenguaje grandes (LLM) como jueces, los autores demuestran que una parte medible de la reordenación de los rankings ocurre cuando los sistemas de reparación de agentes consultan señales derivadas del evaluador (por ejemplo, tokens de razonamiento del juez, confianza en el veredicto, logits de reordenamiento) durante su selección interna de reparaciones candidatas.

Cuando cambia la configuración del evaluador (por ejemplo, al intercambiar el modelo juez o la regla de agregación), los agentes que acoplan su lógica de selector interna a estas salidas específicas del evaluador experimentan un desplazamiento significativo en su rango. Esto es distinto de la inestabilidad genérica; es un acoplamiento arquitectónico entre el selector del agente y el evaluador. Las pruebas y metodologías de evaluación actuales no aíslan este canal de interacción específico, lo que dificulta distinguir entre mejoras genuinas en la reparación y artefactos de filtrado de señales específicas del evaluador.

Metodología

Los autores introducen AuditRepairBench, un corpus de trazas de ejecución emparejada y una arquitectura de cribado modular diseñada para operacionalizar y medir esta inestabilidad.

1. Definición del Corpus

El recurso es un producto cartesiano de:

• 60 Sistemas de Agentes: Que abarcan cinco familias de métodos (planificar-ejecutar, herramienta-shell, refinamiento iterativo, exploración autónoma, debate multiagente).
• 80 Tareas: De 8 familias de tareas.
• 6 Familias de Evaluadores: Incluyendo LLMs propietarios, LLMs de pesos abiertos y evaluadores basados en reglas con diversas reglas de agregación.
• Intervenciones: 5 familias de intervenciones registradas.
• Escala: 576.000 celdas de traza registradas, de las cuales 96.000 se ejecutaron como trazas emparejadas. Un subconjunto "Lite" de 12.000 celdas sirve como punto de entrada principal de bajo costo.

2. Objetivo Operativo y Métricas

La métrica central es el funcional de inversión a nivel de celda ($\hat{q}(x)$), una expectativa posterior que representa la probabilidad de que una intervención (bloquear el camino del evaluador al selector) cambie al ganador de una selección de reparación.

• Intervención: Un operador de "ceguera" anula las características derivadas del evaluador en el límite de entrada del selector, manteniendo fijos el evaluador final y el resto de la tubería.
• Salida: Una etiqueta de valor conjunto ($L(x)$) que indica si el sistema está acoplado (desplazamiento de rango > umbral), no acoplado o ambiguo.
• Ranking: Un ranking de valor conjunto que proporciona intervalos de rango en lugar de estimaciones puntuales, teniendo en cuenta la incertidumbre del cribado.

3. Arquitectura Modular de Cribado

Para evitar vincular la prueba a un único modelo aprendido, la decisión de cribado se toma mediante una pila logística calibrada de cuatro implementaciones heterogéneas:

1. Proxy de Influencia Aprendida: Una red neuronal multicapa (MLP) que analiza las incrustaciones del estado del selector (pesos de atención, magnitudes de activación) para estimar la influencia del camino.
2. Ratio de Exposición del Canal Basado en Reglas: Una herramienta de análisis de programas estático/dinámico que calcula la proporción de tokens derivados del evaluador que entran en la entrada del selector sin ningún modelo entrenado.
3. Proxy de Sensibilidad Contrafactual: Calcula los efectos de enmascaramiento de entrada local utilizando la divergencia Kullback-Leibler y las tasas de inversión de argmax.
4. Proxy de Auditoría Humana Escasa: Un árbol de decisión impulsado por gradiente entrenado en un subconjunto pequeño de casos auditados por humanos, propagando decisiones a celdas no alcanzadas.

4. Estrategia de Validación

El artículo emplea un protocolo de validación multinivel:

• Validación Anclada en el Mecanismo: 80 casos de "cirugía de canal" a nivel de fuente donde el código se modifica explícitamente para bloquear caminos, verificados mediante juicios de doble auditoría.
• Descubrimiento Independiente: Dos grupos de anotadores, separados de los desarrolladores de la tubería, descubren patrones de acoplamiento bajo un protocolo ciego.
• Transferencia Forward: Evaluación en regímenes externos (diferentes familias de evaluadores, retenciones temporales, subconjuntos entre plataformas) para evaluar la generalización.
• Propagación de Incertidumbre: Un bootstrap jerárquico propaga la incertidumbre desde las implementaciones de cribado, las semillas de los modelos y los umbrales para garantizar una cobertura del 95% de los intervalos de rango.

Resultados Clave

1. Rendimiento de Detección

• Subconjunto de Cirugía: El cribado por conjunto logra un AUROC de bloqueo de camino de 0,96 en los 80 casos de cirugía a nivel de fuente.
• Descubrimiento Independiente: En 79 casos descubiertos por grupos independientes (incluyendo nuevos tipos de acoplamiento como "eco de recompensa de memoria" y "filtrado de entropía de veredicto"), el conjunto congelado alcanza un AUROC agrupado de 0,83.
• Categorías Retenidas: En 180 categorías de acoplamiento retenidas de bases de código públicas, el AUROC agrupado es de 0,88.
• Falsos Positivos: El conjunto mantiene una baja tasa de falsos positivos (0,07) en controles negativos (intervenciones que cambian a los ganadores pero no son mediadas por el evaluador), superando significativamente a los detectores ingenuos de cambio de ganador.

2. Transferencia Forward y Estabilidad

• La puntuación de cribado demuestra una transferencia forward débil a moderada a regímenes externos, con un $\rho$ de Spearman agrupado que oscila entre 0,62 y 0,76 dependiendo de la severidad del cambio.
• La señal se degrada gradualmente a medida que los cambios se vuelven más externos (por ejemplo, de cambios de protocolo a cambios entre plataformas), lo cual es consistente con un instrumento de diagnóstico acotado en lugar de un predictor universal.
• Calibración de Confianza: El artículo proporciona niveles de confianza estratificados basados en la "completitud del gancho" (observabilidad). Para sistemas con completitud del gancho $\ge 0,90$, la transferencia externa $\rho$ alcanza 0,74; para una observabilidad menor, desciende a 0,44.

3. Accionabilidad y Reparación

• Reparación Dirigida: Los parches de ceguera guiados por cribado (menos de 50 líneas de código) reducen el desplazamiento de rango en un 55–74% (media 62%) con un impacto negligible en la precisión de la tarea.
• Comparación: En contraste, el reentrenamiento genérico reduce el desplazamiento en un máximo del 13%, y la ceguera aleatoria de canales en un máximo del 7%. La ceguera universal de canales reduce el desplazamiento en un 44% pero causa una degradación significativa en la precisión de la tarea (media -5,1% en la tasa de éxito).

4. Eficiencia

• AuditRepairBench-Lite: Una configuración basada solo en reglas en el subconjunto de 12.000 celdas preserva la clasificación completa del ranking con un Kendall $\tau = 0,88$ mientras requiere solo 22 horas de GPU (frente a 2.400 para la prueba completa) y ningún modelo entrenado.

Significado y Afirmaciones

El artículo posiciona a AuditRepairBench no como una prueba de propósito general para clasificar el rendimiento de los agentes, sino como un instrumento de diagnóstico para un modo de fallo específico.

• Alcance Operativo: El recurso restringe explícitamente sus afirmaciones a una "completitud del gancho" (cobertura estática de AST y taint dinámico) de al menos 0,80. No afirma recuperar constructos causales latentes ni certificar mecanismos universalmente.
• Interpretabilidad del Mecanismo: El valor principal no es solo la puntuación de predicción, sino la capacidad de identificar el canal de acoplamiento específico (por ejemplo, "lectura de tokens de razonamiento"), lo que permite reparaciones dirigidas y de bajo costo que las soluciones genéricas de inestabilidad no pueden lograr.
• Validación Pluralista: Al utilizar una arquitectura modular con implementaciones heterogéneas y protocolos de descubrimiento independientes, el artículo argumenta que la identidad de la prueba es el protocolo y la posterior, no un único modelo aprendido, reduciendo así el riesgo de sobreajuste a un artefacto de medición específico.
• Modestia: Los autores declaran explícitamente que la señal de transferencia forward es "débil a moderada" y que el recurso no afirma una validez prospectiva fuerte. El objetivo es proporcionar una base estable y auditable para comprender el acoplamiento evaluador-selector, en lugar de un clasificador definitivo para todos los sistemas de agentes.

En resumen, AuditRepairBench proporciona el primer marco operativo para medir, validar y reparar la inestabilidad específica causada por la dependencia excesiva de los agentes en señales derivadas del evaluador, ofreciendo un camino hacia rankings de reparación de agentes más robustos y transparentes.