Resumen Técnico: Harness-IF

Declaración del Problema

Los benchmarks de seguimiento de instrucciones (IF) y las evaluaciones de agentes de codificación existentes sufren una desalineación fundamental en la forma en que miden el cumplimiento. Los benchmarks de IF tradicionales (p. ej., IFEval, FollowBench) concentran las reglas dentro de los prompts del usuario, fallando al capturar la naturaleza multisuperficie de los agentes desplegados. Por el contrario, los benchmarks de agentes de codificación (p. ej., SWE-bench) priorizan el éxito final de la tarea, ocultando si un agente siguió reglas operativas específicas o si simplemente llegó al resultado correcto mediante un comportamiento por defecto.

Consecuentemente, las métricas actuales no pueden distinguir entre cumplimiento (seguir una instrucción específica) y coincidencia (lograr un resultado que casualmente se alinea con la instrucción debido a los valores por defecto no solicitados del modelo). Además, la "pila de instrucciones" de un agente de codificación —que comprende prompts de sistema, descripciones de herramientas, definiciones de habilidades, archivos de proyecto y la instrucción del usuario— carece de un marco de evaluación estandarizado para determinar qué superficie tiene precedencia cuando las reglas entran en conflicto o cómo los agentes se adhieren a las reglas distribuidas a través de estas superficies.

Metodología

Harness-IF introduce un benchmark diseñado para medir el seguimiento de instrucciones al nivel de reglas individuales y superficies de entrega. La metodología se basa en tres componentes principales:

1. Superficies de Instrucción y Relocalización Controlada

El marco define seis superficies de instrucción:

• Harness Default (HD): Valores por defecto insertados por la plataforma.
• System Prompt (SP): Rol/comportamiento definido por el desarrollador.
• Tool Description (TD): Instrucciones de uso de herramientas.
• Skill Description (SD): Reglas de uso de habilidades.
• Project File (PF): Documentación a nivel de repositorio (p. ej., CLAUDE.md).
• User Instruction (UI): La solicitud del usuario.

Harness-IF emplea un diseño de relocalización controlada donde el significado semántico de una regla permanece fijo mientras su superficie de entrega varía. Esto permite comparaciones emparejadas de cómo un agente sigue la misma regla cuando se presenta en diferentes contextos (p. ej., como un prompt de sistema frente a un archivo de proyecto).

2. Construcción de Datos

• Librería: Una librería curada de 642 restricciones atómicas a través de siete familias (escritura profesional, control de salida, estilo de código, flujo de trabajo, límites cuantitativos, lógica condicional, uso de herramientas).
• Ítems: Se ensamblaron 60 ítems de codificación multivuelta realistas a partir de esta librería. Cada ítem inyecta entre 25 y 35 reglas, instanciadas a través de las cinco superficies configurables (SP, TD, SD, PF, UI).
• Ejecución: El benchmark se ejecutó en 12 modelos de frontera durante 3 rondas, generando 2,160 ejecuciones de evaluación.
• Veredictos: En lugar de un único aprobado/fallido a nivel de tarea, el sistema genera un veredicto (aprobado, fallido o no aplicable) para cada regla aplicable en cada ejecución, lo que resulta en 256 reglas distintas que reciben veredictos basados en la ejecución.

3. Métrica: Against-Prior Accuracy (AP-Acc)

Para separar el cumplimiento de la coincidencia, los autores introducen la Against-Prior Accuracy (AP-Acc).

• Control de Prioridad (Prior Control): Las reglas se etiquetan como "against-prior" si se oponen al comportamiento por defecto observado del modelo sin instrucciones previas. Esto se determina mediante una sonda de inyección cero (volver a ejecutar las tareas sin la regla para observar los valores por defecto) y anotaciones curadas.
• Cálculo: AP-Acc califica únicamente el subconjunto de reglas etiquetadas como opuestas al valor por defecto.
• Comparación: Esto se contrasta con la Exactitud estándar (Acc), la Exactitud Filtrada (F-Acc) y la Exactitud Ponderada por Discriminación (DW-Acc).

Resultados Clave

1. La "Brecha de Cumplimiento"

En todos los 12 modelos evaluados, el desempeño en las reglas against-prior es consistentemente menor que la exactitud agregada.

• Exactitud Agregada: Oscila entre el 72.1% y el 85.9%.
• AP-Acc: Oscila entre el 66.1% y el 78.6%.
• La Brecha: Cada modelo tiene un desempeño inferior en las reglas against-prior por un margen de 3.6 a 7.4 puntos porcentuales (brecha media: 5.81).
• Implicación: Las puntuaciones agregadas sobreestiman sistemáticamente el cumplimiento. El grado de sobreestimación varía según el modelo (hay una dispersión de dos veces), lo que significa que el control de la prioridad puede alterar el ranking de los modelos (intercambiando tres pares de rangos adyacentes) incluso si el modelo superior permanece sin cambios.

2. Firmas de Fallo

• Acción vs. Inacción: Los fallos están fuertemente sesgados hacia las reglas de insuficiencia (omisiones de comportamientos demandados), que representan el 77.1% de los fallos. Las reglas de "exceso" (acciones prohibidas) representan solo el 20.8%.
• Dificultad por Modalidad: Las reglas de mandato (requerir/prohibir) son las más difíciles (76.0% de exactitud), mientras que las reglas de preferencia son las más fáciles (90.6%).
• Dificultad por Familia: La familia de control de salida es la más difícil (70.9% de exactitud), seguida por flujo de trabajo y estilo de código.

3. Precedencia de la Superficie de Instrucción (Piloto E0)

Un piloto de conflicto controlado (E0) probó qué superficie de instrucción prevalece cuando las reglas entran en conflicto.

• Hallazgo: La precedencia no sigue una simple "profundidad de prompt" (es decir, que la instrucción del usuario sea la última no garantiza que gane).
• Jerarquía: Los prompts de sistema (SP), los archivos de proyecto (PF) y las instrucciones del usuario (UI) empataron con la mayor precedencia. Las descripciones de herramientas (TD) y las descripciones de habilidades (SD) fueron significativamente menores.
• Estabilidad: Este ordenamiento fue robusto a través del remuestreo de bootstrap y las variaciones de los modelos, lo que sugiere una tendencia agrupada en lugar de una jerarquía universal.

Significancia y Reivindicaciones

Harness-IF afirma proporcionar el primer marco unificado para medir el seguimiento de instrucciones operativo en agentes de codificación al nivel de la regla. Sus principales contribuciones son:

1. Medición a Nivel de Regla: Cambia la unidad de evaluación de "éxito de la tarea" a "cumplimiento de la regla", permitiendo la detección de fallos específicos que las puntuaciones agregadas ocultan.
2. Desacoplamiento del Cumplimiento de la Coincidencia: Al introducir AP-Acc, el benchmark aísla el verdadero seguimiento de instrucciones del comportamiento que simplemente se alinea con los valores por defecto del modelo. El documento argumenta que, sin este control, las puntuaciones de los benchmarks están infladas por un margen específico del modelo.
3. Evaluación Consciente de la Superficie: Demuestra que la superficie de entrega de la instrucción importa. El marco revela que los agentes no tratan todas las instrucciones por igual y que la "pila de instrucciones" tiene una estructura de precedencia no trivial que difiere del simple orden de los prompts.
4. Granularidad Diagnóstica: El benchmark expone firmas de fallo distintas a través de familias de reglas (p. ej., el control de salida es un punto de fallo primario) y modalidades, ofreciendo información accionable para mejorar la fiabilidad de los agentes.

Los autores concluyen que la evaluación de los agentes de codificación debe tratar el cumplimiento de las instrucciones como un objeto de nivel de ejecución, preservando la procedencia de la regla y separando el comportamiento contra-prioridad del éxito agregado para evaluar con precisión las capacidades de los agentes.