🤖 AI

It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers

Este artículo refuta la suposición de que la complejidad óptima del harness disminuye monótonamente con la capacidad del modelo, revelando mediante un experimento de 432 ejecuciones que la sensibilidad del harness es no monótona y depende críticamente del tipo de modelo, donde las estructuras verbosas obstaculizan a los modelos de chat de vanguardia mientras que la guía estricta beneficia a los modelos de razonamiento de vanguardia.

Autores originales: Yong-eun Cho

Publicado 2026-05-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yong-eun Cho

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un equipo de trabajadores diferentes para arreglar un cuarto desordenado (el "espacio de trabajo"). Tienes un gerente que les da instrucciones (el "arnés").

La creencia común en el mundo de la IA ha sido: "Cuanto más inteligente es el trabajador, menos detalladas son las instrucciones que necesita." En otras palabras, un genio necesita una nota simple, mientras que un principiante necesita un manual estricto, paso a paso. Este artículo argumenta que esta creencia es incorrecta.

Aquí está el desglose de lo que los investigadores encontraron, utilizando analogías simples:

1. El Experimento: Una Cocina de Pruebas para la IA

Los investigadores establecieron una "cocina de pruebas" llamada HEAT-24.

La Habitación: Un espacio de trabajo digital con 12 archivos (como código, notas y datos).
Los Trabajos: 24 tareas específicas, como "arregla este código roto", "encuentra un archivo específico" o "escribe un informe en un formato estricto".
Los Trabajadores: Probó 6 modelos de IA diferentes, desde "Frontera" (superinteligente, costoso) hasta "Restringido" (más pequeño, más barato).
Las Instrucciones: Les dio a los trabajadores tres tipos de manuales de instrucciones:
- Ligero: Una nota simple de dos oraciones.
- Equilibrado: Una guía de cuatro pasos con una lista de archivos permitidos.
- Estricto: Un manual masivo de 6 etapas con reglas estrictas sobre cómo verificar el trabajo y exactamente cómo formatear la salida.

Realizaron este experimento 432 veces para ver qué combinación funcionaba mejor.

2. La Gran Sorpresa: La Regla "Talla Única" Está Rota

Los investigadores esperaban una curva suave: IA más inteligente = Instrucciones más simples. En cambio, encontraron un caos no lineal. El estilo de instrucción "mejor" depende enteramente de qué tipo de IA estás usando, no solo de lo inteligente que es.

El "Sobre-pensador" (Modelo de Chat de Frontera)

Quién es: Un modelo muy inteligente diseñado para chatear (como un conversador).
Qué pasó: Cuando se le dio el manual Estricto, colapsó. Su tasa de éxito cayó casi un 30%.
La Analogía: Imagina pedirle a un poeta brillante que rellene un formulario de impuestos complejo. Si le das un prompt simple ("Escribe un poema"), es perfecto. Pero si le das un contrato legal de 10 páginas sobre cómo escribir el poema, se confunde, empieza a divagar y olvida escribir realmente el poema.
El Resultado: Para este tipo de IA, menos es más. Las instrucciones simples funcionan mejor.

El "Arquitecto" (Modelo de Razonamiento de Frontera)

Quién es: Un modelo superinteligente diseñado para lógica profunda y resolución de problemas (con "pensamiento extendido" habilitado).
Qué pasó: Cuando se le dio el manual Estricto, se desempeñó mejor que con notas simples. También terminó el trabajo más rápido.
La Analogía: Imagina a un arquitecto maestro. Si dices "Construye una casa", podría alejarse pensando en 100 posibilidades diferentes. Pero si le das un plano estricto con medidas exactas y una lista de verificación, se pone a trabajar inmediatamente, ignora las distracciones y construye la casa perfectamente.
El Resultado: Para este tipo de IA, más estructura es mejor. Utiliza las reglas estrictas como un andamio para enfocar su pensamiento.

El "Pequeño pero Poderoso" (Modelo Restringido)

Quién es: Un modelo diminuto (solo 2 mil millones de parámetros) que fue sorprendentemente bien entrenado.
Qué pasó: Se desempeñó tan bien como los modelos grandes y costosos en todos los tipos de instrucciones.
La Analogía: Esto es como un aprendiz pequeño y altamente disciplinado que, a pesar de tener un cerebro pequeño, fue entrenado tan bien en cómo seguir órdenes que puede hacer el trabajo tan bien como un profesor con doctorado.
El Resultado: No puedes juzgar las "necesidades de arnés" de un modelo solo por su tamaño (conteo de parámetros). La calidad del entrenamiento importa más.

El "Principiante Perdido" (Modelos de Baja Capacidad)

Quién es: Modelos más pequeños con menos entrenamiento.
Qué pasó: Se esforzaron con todo. Las notas simples los hacían elegir los archivos incorrectos; las notas estrictas los abrumaban.
El Resultado: Necesitan un enfoque "Ricitos de Oro": suficiente estructura para guiarlos, pero no tanto que se confundan.

3. Los Dos Errores Principales

Los investigadores categorizaron por qué falló la IA:

El Error del "Chismoso" (Violación de Formato): Los modelos inteligentes entendieron la tarea pero no pudieron dejar de hablar. En lugar de dar los datos requeridos (como un archivo JSON), escribieron una historia larga explicando por qué lo hicieron. Esto ocurrió principalmente cuando las instrucciones eran demasiado complejas.
El Error de la "Puerta Incorrecta" (Archivo Incorrecto): Los modelos más pequeños a menudo no sabían qué archivo tocar. Sin una lista clara de "archivos permitidos", editarían el documento incorrecto.

4. La Conclusión: Deja de Adivinar, Empieza a Coincidir

El artículo concluye que no hay una sola "mejor" manera de dar instrucciones a una IA.

Si tienes una IA de Chat, mantén las instrucciones ligeras y simples. No sobreexpliques.
Si tienes una IA de Razonamiento, dale reglas estrictas y detalladas. Prospera con la estructura.
Si tienes una IA pequeña y bien entrenada, podría ser tan buena como las grandes, independientemente de las instrucciones.

En resumen: No le darías a un niño pequeño un contrato legal complejo, y no le darías a un juez de la Corte Suprema una nota adhesiva. Debes coincidir el estilo de instrucción con el tipo de trabajador, no solo con su nivel de inteligencia.

Resumen Técnico: No Es la Capacidad: La Sensibilidad al Entorno (Harness) es No Monótona a través de Niveles de Agentes LLM

Declaración del Problema

Una suposición prevalente en el despliegue de agentes LLM autónomos es que existe una relación inversa monótona entre la capacidad del modelo y la complejidad óptima del "entorno" (el prompt a nivel de sistema que define el alcance de la tarea, las operaciones, el formato de salida y la verificación). Esta hipótesis sugiere que los modelos de mayor capacidad requieren proporcionalmente menos guía estructural, mientras que los modelos de menor capacidad se benefician de prompts cada vez más estrictos y estructurados. En consecuencia, los practicantes a menudo aplican entornos uniformes y altamente estructurados en flotas de modelos diversas.

Este documento desafía la validez empírica de esta hipótesis inversa monótona. Cuestiona si un solo gradiente de "más capacidad equivale a menos estructura" se mantiene a través de diferentes niveles de modelos y si la relación difiere entre los modelos de vanguardia orientados a chat y los orientados al razonamiento.

Metodología

Los autores realizaron un estudio empírico controlado utilizando HEAT-24, un benchmark sintético determinista de 24 tareas diseñado para la verificación a nivel de espacio de trabajo.

Diseño del Benchmark (HEAT-24): El benchmark opera sobre un espacio de trabajo sintético compartido que contiene 12 archivos (YAML, JSON, Python, Markdown, CSV, etc.) inicializados como un repositorio git. La verificación se realiza mediante git diff para detectar cambios en los archivos. Las tareas se categorizan en seis tipos: inspección local, edición estructurada, sensibilidad al formato, recuperación de verificación, reparación y operaciones de múltiples pasos. Cada tarea tiene un verificador binario.
Condiciones del Entorno: Se probaron tres niveles de complejidad estructural:
1. Ligero: Un prompt de dos líneas (rol + instrucción de tarea cruda) sin restricciones de formato o alcance.
2. Equilibrado: Añade una plantilla de proceso de cuatro pasos (planificar, ejecutar, verificar, responder) y una lista de archivos permitidos.
3. Estricto: Añade seis etapas explícitas (pre-vuelo hasta informe), criterios de éxito explícitos, especificaciones de verificación e instrucciones para usar marcadores específicos (<<<WRITE:path>>>) para los cambios en los archivos.
Modelos: Se evaluaron seis modelos que abarcan cuatro niveles de capacidad (432 ejecuciones totales, 24 tareas × 3 entornos × 6 modelos):
- Vanguardia-Propietario: Gemini 2.5 Flash.
- Vanguardia-Razonamiento: Qwen3.5-122B (con pensamiento extendido habilitado).
- Fuerte-Abierto: GPT-OSS-120B.
- Restringido: Qwen3.5:2B, LLaMA 3.2 (3B) y Gemma4:e2B (2B).
Métricas: Tasa de Éxito en Tareas (TSR) y Tasa de Éxito en Tareas Verificadas (VTSR). Los fallos se clasificaron mediante una taxonomía automatizada basada en reglas en seis etiquetas: violación de formato, respuesta incorrecta, archivo incorrecto, cambio faltante, cambio no relacionado y las pruebas aún fallan.

Contribuciones Clave

Benchmark HEAT-24: Un benchmark determinista verificado por git que cubre seis categorías de tareas para evaluar la fiabilidad del agente bajo condiciones de entorno variables.
Refutación Empírica de la Monotonía: La primera prueba controlada que demuestra que la relación inversa entre capacidad y complejidad óptima del entorno no se mantiene universalmente.
Identificación de Patrones No Monótonos: Evidencia de dos fenómenos opuestos: una "paradoja de la complejidad del entorno" donde los entornos estrictos degradan el rendimiento de los modelos de chat de vanguardia, y un patrón no monótono donde los entornos estrictos mejoran el rendimiento de los modelos de razonamiento de vanguardia.
Conteo de Parámetros vs. Ajuste de Instrucciones: Hallazgos que sugieren que el conteo de parámetros es un proxy poco fiable para la sensibilidad al entorno, siendo la calidad del ajuste de instrucciones la variable moderadora crítica.
Taxonomía de Fallos y Directrices: Una taxonomía de fallos de seis etiquetas y directrices prácticas, conscientes del nivel, para la selección del entorno.

Resultados

1. La Paradoja de la Complejidad del Entorno (Modelos de Chat de Vanguardia)

Para Gemini 2.5 Flash, el aumento de la verbosidad del entorno degradó significativamente el rendimiento.

Entorno Ligero: 95.8% VTSR.
Entorno Equilibrado: 58.3% VTSR (−37.5 pp).
Entorno Estricto: 66.7% VTSR (−29.2 pp).
Análisis: El modo de fallo dominante en condiciones complejas fue la violación de formato (10/10 fallos en equilibrado, 8/8 en estricto). Los autores hipotetizan que las instrucciones elaboradas de múltiples etapas desplazan la distribución de generación del modelo hacia el prosa explicativa, provocando que narre el razonamiento en lugar de emitir directamente el esquema JSON requerido. Este efecto fue específico de las tareas sensibles al formato; las tareas de edición de archivos estructurados se mantuvieron al 100% en todos los entornos.

2. Patrón No Monótono (Modelos de Razonamiento de Vanguardia)

Para Qwen3.5-122B (con pensamiento extendido habilitado), la relación fue no monótona y contraria a la hipótesis.

Entorno Equilibrado: 75.0% VTSR (el más bajo).
Entorno Ligero: 87.5% VTSR.
Entorno Estricto: 91.7% VTSR (el más alto).
Latencia: Sorprendentemente, el entorno estricto resultó en la latencia más baja (23.3s) en comparación con el ligero (35.4s) y el equilibrado (38.5s).
Análisis: Los criterios de éxito explícitos del entorno estricto actuaron como andamiaje para la cadena de pensamiento del modelo, reduciendo la ambigüedad. El entorno equilibrado creó señales conflictivas que el proceso de pensamiento extendido amplificó en lugar de resolver.

3. Niveles Fuerte-Abierto y Restringido

Fuerte-Abierto (GPT-OSS-120B): Mostró robustez ante entornos ligeros y equilibrados (95.8% VTSR en ambos) pero una caída modesta bajo estricto (87.5%). No exhibió la paradoja completa ni el patrón no monótono.
Heterogeneidad del Nivel Restringido:
- Qwen3.5:2B: Exhibió un patrón en forma de U invertida. El entorno ligero falló (0% VTSR) debido a errores de archivo incorrecto y violación de formato. El entorno equilibrado fue óptimo (58.3%), proporcionando justo el andamiaje necesario. El entorno estricto colapsó el rendimiento (4.2%) debido a la sobrecarga de instrucciones.
- LLaMA 3.2: Mostró un rendimiento uniformemente bajo (<21%) en todas las condiciones, dominado por errores de archivo incorrecto, lo que indica una falta de capacidad básica de seguimiento de instrucciones.
- Gemma4:e2B: Logró un 91.7% VTSR en todas las condiciones del entorno, igualando la estabilidad del modelo Fuerte-Abierto de 120B a pesar de tener solo ~2B de parámetros. Esto desafía el conteo de parámetros como un proxy suficiente para los niveles de capacidad en estudios de sensibilidad al entorno.

4. Modos de Fallo

Modelos Capaces: Dominados por violación de formato al usar entornos complejos. Entendieron las tareas pero fallaron en suprimir la prosa explicativa.
Modelos Restringidos: Dominados por errores de archivo incorrecto bajo entornos ligeros (falta de guía estructural) y violación de formato bajo entornos estrictos (sobrecarga de instrucciones).

Significado y Afirmaciones

El documento concluye que la hipótesis inversa monótona es empíricamente falsa. La sensibilidad al entorno es no monótona y depende críticamente del tipo de modelo (chat vs. razonamiento) y la calidad del ajuste de instrucciones, en lugar del nivel de capacidad por sí solo.

Implicaciones de Política: Una política de entorno universal es ineficaz.
- Chat de Vanguardia: Preferir entornos ligeros para tareas sensibles al formato para evitar violaciones de formato.
- Razonamiento de Vanguardia: Preferir entornos estrictos para andamiar la cadena de pensamiento y reducir la latencia.
- Restringido (Moderado): Los entornos equilibrados son óptimos.
- Restringido (Alto Ajuste): Modelos como Gemma4:e2B son robustos a la complejidad del entorno independientemente del conteo de parámetros.
Cambio Teórico: El estudio argumenta que la calidad del ajuste de instrucciones es un predictor más fiable de la sensibilidad al entorno que el conteo crudo de parámetros. Sugiere que los futuros marcos de despliegue deberían evaluar la capacidad de seguimiento de instrucciones empíricamente en lugar de depender de clasificaciones de nivel basadas únicamente en la escala.
Limitaciones: Los autores señalan que el estudio utiliza una sola repetición por condición ( $k=1$ ), lo que hace que los resultados sean preliminares. El espacio de trabajo es sintético y la distinción "chat vs. razonamiento" fue un marco interpretativo post-hoc en lugar de una variable preespecificada. Los resultados para Qwen3.5-122B son específicos de la configuración de "pensamiento extendido" habilitada durante el experimento.