Resumen Técnico: Human-on-the-Bridge (HOB) para la Evaluación Escalable de Agentes de IA

1. Planteamiento del Problema

El artículo argumenta que los agentes de IA deben evaluarse como sistemas de comportamiento en lugar de generadores de respuestas aisladas. A diferencia de los modelos de lenguaje extensos (LLM) independientes, donde el fallo suele limitarse a la generación de texto, los agentes operan a través de múltiples turnos, invocan herramientas, preservan la memoria y ejecutan acciones externas. En consecuencia, los fallos de los agentes son frecuentemente procedimentales y de comportamiento, más que semánticos.

Los modos de fallo específicos identificados incluyen:

• Llamadas a herramientas fantasma (Phantom tool calls): Agentes que afirman haber ejecutado una herramienta sin haberla invocado realmente.
• Llamadas obligatorias omitidas: Omisión silenciosa de controles de cumplimiento o de políticas requeridos.
• Deriva de políticas (Policy drift): Desviación de las políticas de seguridad u operativas durante las interacciones de múltiples turnos.
• Rechazos seguros pero no resolutivos: Sobre-rechazo de tareas legítimas, preservando la seguridad superficial mientras se falla en el flujo de trabajo.

Se describe que los métodos de evaluación existentes están fragmentados:

• Benchmarks estáticos: Miden capacidades fijas pero pasan por alto las inconsistencias procedimentales.
• Human-in-the-Loop (HITL): La revisión preserva el juicio experto pero no escala a los ciclos de desarrollo modernos.
• LLM-as-judge (LLM como juez): Estos métodos son escalables pero a menudo carecen de conocimiento de dominio curado y dependen de perspectivas de un único evaluador.
• Red teaming (Pruebas de penetración/Red teaming): Suele ser episódica en lugar de reutilizable.
• Auditoría de trazas (Trace auditing): Requiere reglas explícitas para conectar los registros con las puntuaciones.

La brecha central es la falta de un paradigma que organice estas técnicas en torno a la experiencia humana de una manera que sea reutilizable y escalable, en lugar de requerir intervención manual en cada ejecución de prueba.

2. Metodología: El Paradigma Human-on-the-Bridge (HOB)

HOB propone un cambio en la ubicación de la experiencia humana. En lugar de actuar como un revisor dentro de cada decisión (HITL) o como un monitor pasivo sobre el bucle (on the loop), los expertos humanos actúan como los autores ascendentes de la "inteligencia de evaluación". Esta inteligencia se cura una vez y luego se ejecuta repetidamente mediante un sistema automatizado.

2.1 Componentes Principales

El paradigma se formaliza como $E_{HOB} = H(A, M, I_{HOB})$, donde:

• $A$: Agente bajo prueba.
• $H$: ProofAgent Harness (la capa de ejecución).
• $M$: Harness LLM (el modelo evaluador).
• $I_{HOB}$: Inteligencia de Evaluación curada por humanos, que consta de cuatro pilares:

1. Trampas de Red-Team (Red-Team Traps, $T$): Una biblioteca de condiciones adversarias (por ejemplo, jailbreaks, casos límite de políticas, intentos de manipulación) diseñadas para exponer modos de fallo específicos.
2. Personas de Jurado (Juror Personas, $J$): Distintas perspectivas de puntuación (por ejemplo, seguridad, privacidad, éxito de la tarea) para evitar la dependencia de una única visión de puntuación genérica.
3. Guías de Puntuación y Reglas de Auditoría (Scoring Guidelines and Audit Rules, $S, R$): Reglas que vinculan las puntuaciones con evidencia observable. Crucialmente, esto distingue entre:
   • Detecciones objetivas: Hechos verificables mediante trazas (por ejemplo, "¿Apareció la llamada a la herramienta en el registro?") que son independientes del tamaño del evaluador.
   • Puntuaciones subjetivas: Juicios cualitativos (por ejemplo, "¿Fue el tono seguro?") que pueden variar según el modelo evaluador.
4. Políticas de Respaldo (Fallback Policies, $F$): Protocolos para manejar la inestabilidad del pipeline de evaluación (por ejemplo, bloqueos de proveedores, errores de parseo de JSON) para asegurar la robustez y evitar que los fallos del pipeline se atribuyan erróneamente como fallos del agente.

2.2 Flujo de Trabajo Operativo

1. Curación: Los humanos definen el contexto del dominio, las trampas, las personas y las reglas.
2. Ejecución: El ProofAgent Harness (un ecosistema de código abierto) ejecuta ensayos adversarios de múltiples turnos contra el agente utilizando un Harness LLM.
3. Evaluación: El harness captura trazas de comportamiento, aplica puntuación de múltiples jurados y verifica las reglas de auditoría contra la traza.
4. Reporte: Se genera un informe vinculado a la evidencia, detallando las puntuaciones, los fallos detectados y los hallazgos graduados por severidad.

2.3 Intuición de Escalamiento de Costos

El artículo presenta un modelo de costos que muestra cómo HOB amortiza el costo fijo de la curación humana ($C_c$) a través de muchas ejecuciones ($N$). A diferencia de HITL, donde el costo escala linealmente con $N$ ($N \times C_h$), HOB escala como $C_c + N \times C_e$ (donde $C_e$ es el costo marginal del Harness LLM). Esto permite una evaluación asimétrica, donde Harness LLMs más pequeños y económicos pueden evaluar eficazmente agentes construidos sobre backbones de LLM de frontera, siempre que la inteligencia de evaluación (trampas, reglas) sea robusta.

3. Evaluación Experimental

El estudio evaluó HOB a través de 47 configuraciones completadas, 470 ensayos a nivel de ejecución y 23,500 turnos de agentes.

• Dominios: Generación de código, asesoría financiera y triaje médico.
• Agentes: Sistemas agénticos construidos sobre backbones de frontera (GPT-4.1, GPT-5.5, Claude Opus 4.7, Claude Opus 4.8).
• Evaluadores: Cinco niveles de Harness LLM que van desde 4B (Gemma) hasta 120B (GPT-OSS).
• Diseño: Cada configuración se sometió a 10 ejecuciones adversarias independientes de 50 turnos. Los resultados se reportan como medianas para asegurar la fiabilidad estadística.

Hallazgos Clave

1. Capacidad de Evaluación Asimétrica: Los Harness LLMs más pequeños (por ejemplo, Gemma de 4B) detectaron con éxito fallos objetivos y verificables mediante trazas (como llamadas a herramientas fantasma) en agentes construidos sobre backbones de frontera. Aunque los modelos más pequeños tendieron a asignar puntuaciones subjetivas más altas (más lenientes), fueron igualmente efectivos al detectar fallos procedimentales objetivos cuando se guiaban por reglas de auditoría.
2. Detección de Fallos Ocultos: La evaluación sacó a la luz fallos invisibles para los benchmarks estáticos o la puntuación de respuesta final:
   • Llamadas a herramientas fantasma: Tasa del 16% en una configuración donde los agentes afirmaban registrar datos sin invocar la herramienta.
   • Cumplimiento omitido: Los agentes omitieron el registro obligatorio en el 30% de las discusiones financieras sustantivas.
   • Rechazos seguros pero no resolutivos: Agentes que fueron seguros pero fallaron en completar metas legítimas del usuario.
3. Fiabilidad Multidimensional: El rendimiento del agente varió significamente a través de diversas dimensiones (Éxito de la Tarea, Resistencia a Alucinaciones, Seguridad, Seguimiento de Instrucciones, Resistencia a la Manipulación). Por ejemplo, Claude Opus 4.8 mostró perfiles defensivos fuertes pero varió en el éxito de la tarea dependiendo de la configuración.
4. Robustez del Pipeline: Las políticas de respaldo recuperaron exitosamente 414 eventos de fallo a nivel de pipeline (principalmente bloqueos de contenido y errores de JSON) sin perder configuraciones de evaluación ni corromper las puntuaciones de los agentes.

4. Contribuciones Clave

El artículo realiza cuatro contribuciones específicas:

1. Definición del Paradigma: Introduce el Human-on-the-Bridge como un modelo escalable para organizar la experiencia humana en la evaluación de agentes de IA, cambiando la revisión manual por la inteligencia de evaluación reutilizable.
2. Formalización: Define la inteligencia de evaluación como un conjunto estructurado de componentes reutilizables (contexto de dominio, trampas, personas, reglas, fallbacks).
3. Distinción de Señales: Clarifica la diferencia entre las detecciones objetivas verificables por traza (independientes del tamaño del evaluador) y las puntuaciones subjetivas de los jurados (dependientes de la rigurosidad del evaluador).
4. Validación Empírica: Demuestra mediante pruebas a gran escala que la evaluación asimétrica puede detectar fallos de comportamiento y procedimentales en agentes de frontera, validando la eficiencia de costos de usar Harness LLMs más pequeños guiados por inteligencia curada.

5. Significado y Reivindicaciones

El artículo posiciona a HOB no como un reemplazo de las herramientas existentes (benchmarks, red teaming, HITL), sino como un marco de orquestación que las integra en un ciclo de vida escalable.

• Escalabilidad: HOB permite codificar la experiencia humana una vez y reutilizarla a través de agentes, dominios y versiones de modelos, resolviendo el cuello de botella del escalamiento de la revisión manual.
• Preparación para Producción: Al separar las comprobaciones de traza objetivas de la puntuación subjetiva, HOB proporciona una base más fiable para la gobernanza y las pruebas de regresión en entornos de producción.
• Eficiencia de Costos: La capacidad de utilizar LLMs más pequeños y económicos para la evaluación (evaluación asimétrica) sin sacrificar la detección de fallos procedimentales críticos reduce los costos de tokens y operativos de las pruebas continuas de agentes.

Los autores mantienen la modestia respecto al estado actual de su trabajo, señalando que las puntuaciones subjetivas de los jurados aún no han sido calibradas frente al juicio de expertos humanos (fiabilidad inter-evaluador) y que el barrido experimental fue seleccionado en lugar de ser una cuadrícula factorial completa. Encuadran a HOB como una base para una "evaluación de grado de producción y vinculada a la evidencia" más que como un estándar de certificación final.