💬 NLP

From Plan to Action: How Well Do Agents Follow the Plan?

Este estudio analiza sistemáticamente el cumplimiento de planes por parte de agentes de programación, revelando que, aunque los planes estándar mejoran el rendimiento y las recordaciones periódicas reducen las violaciones, los planes deficientes o mal alineados con la estrategia interna del modelo perjudican el éxito más que no tener ninguno, lo que subraya la necesidad de entrenar a los modelos para seguir planes instructivos de forma adaptativa en lugar de memorizar flujos de trabajo específicos.

Autores originales: Shuyang Liu, Saman Dehghan, Jatin Ganhotra, Martin Hirzel, Reyhaneh Jabbarvand

Publicado 2026-04-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shuyang Liu, Saman Dehghan, Jatin Ganhotra, Martin Hirzel, Reyhaneh Jabbarvand

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que has contratado a un asistente de limpieza muy inteligente (un "agente" de IA) para que arregle un desastre en tu cocina. Le das una lista de instrucciones escrita en una hoja de papel (el "plan"): 1. Busca el desorden, 2. Limpia la mancha, 3. Pasa la mopa, 4. Verifica que todo esté brillante.

El problema es que, aunque le diste la hoja, no tienes forma de obligarlo a seguirla. Él puede decidir limpiar en orden, saltarse pasos, o incluso empezar a pintar las paredes si se le ocurre algo "mejor".

Este artículo de investigación es como un gran experimento donde los científicos observaron a 16,991 de estos asistentes (programados con diferentes cerebros de IA) intentando arreglar errores en código de computadora. Querían saber: ¿Realmente siguen las instrucciones que les damos, o hacen lo que les da la gana?

Aquí tienes los hallazgos principales, explicados con analogías sencillas:

1. La hoja de instrucciones no es una ley, es solo una sugerencia

Cuando les das el plan estándar (Buscar -> Repetir el error -> Arreglar -> Verificar), la mayoría de los asistentes lo siguen... pero no siempre.

Algunos son robots estrictos: Siguen la hoja paso a paso, sin desviarse.
Otros son artistas creativos: Si ven que el problema es fácil, saltan pasos. Si es difícil, se quedan atascados o cambian el orden.
El hallazgo: Seguir el plan ayuda a arreglar más cosas, pero si el plan es malo, es peor que no tener ninguno.

2. ¿Qué pasa si les quitas la hoja de instrucciones?

Los científicos probaron dejar a los asistentes sin ninguna hoja de papel.

Resultado: ¡Sorprendentemente, muchos siguen haciendo lo mismo!
La analogía: Es como si tuvieras un chef que ha cocinado mil veces el mismo plato. Aunque no le des la receta, sigue poniendo sal y pimienta porque su "memoria muscular" (su entrenamiento) ya sabe qué hacer.
Pero hay un truco: Sin la hoja, cometen más errores. La hoja sirve como un "ancla" que los mantiene enfocados. Sin ella, se distraen más rápido.

3. El peligro de los "planes perfectos" (Demasiado relleno)

Los investigadores pensaron: "¡Vamos a hacer el plan aún mejor! Añadamos pasos extra, como 'hacer un resumen' o 'probar cosas viejas' antes de empezar".

Lo que pasó: ¡Fue un desastre! Al añadir pasos extra que no encajaban con la forma natural de pensar de la IA, el rendimiento empeoró.
La analogía: Imagina que le das a un corredor de maratón un mapa que incluye instrucciones para "hacer yoga" y "comer una manzana" en medio de la carrera. En lugar de correr mejor, se confunde, se cansa y pierde el ritmo. Un plan que no coincide con la mente del agente es peor que no tener plan.

4. El problema de la "memoria corta" (El olvido)

A medida que el trabajo avanza y el agente escribe más notas, ve más archivos y comete más errores, la hoja de instrucciones original se desvanece. Es como si el agente tuviera una memoria de pez dorado: al principio recuerda el plan, pero a mitad de camino, se olvida de qué era lo primero que debía hacer.

La solución: Los científicos probaron recordarle el plan cada 5 pasos.
Resultado: ¡Funcionó! Es como si un supervisor le susurrara al oído: "Oye, no te olvides, primero buscas, luego limpias". Esto ayudó a que terminaran el trabajo con éxito.

5. ¿Son todos los cerebros iguales?

No. Algunos modelos (como los "DeepSeek") parecen tener una forma de pensar muy rígida o confusa, y les cuesta mucho seguir instrucciones nuevas. Otros (como "GPT-5") son más adaptables: si el problema es fácil, saltan pasos; si es difícil, se vuelven más estrictos.

Lección: No se puede tratar a todos los agentes igual. Lo que funciona para uno, puede confundir a otro.

Conclusión final: ¿Qué aprendimos?

El mensaje principal es que no basta con escribir un plan perfecto y pegarlo en la pantalla.

Si el plan no coincide con la forma en que el cerebro de la IA "piensa" naturalmente, fallará.
Si el plan es demasiado complejo, la IA se abruma.
El futuro: En lugar de intentar programar planes rígidos en la IA, deberíamos entrenar a la IA para que sea mejor siguiendo instrucciones y adaptándose, como un buen aprendiz que escucha a su maestro, en lugar de un robot que solo memoriza una lista.

En resumen: Darle un plan a una IA es como darle un mapa a un turista. Si el mapa es confuso o el turista tiene su propio GPS interno, terminará en el lugar equivocado. La clave es enseñarle a leer el mapa, no solo darle el papel.

Título: De la Planificación a la Acción: ¿Qué tan bien siguen los agentes el plan?

1. El Problema

Los agentes basados en Modelos de Lenguaje Grande (LLM) aspiran a automatizar tareas de ingeniería de software mediante bucles autónomos de razonamiento-acción-observación. A menudo se les instruye mediante planes estructurados (secuencias de pasos como navegación, reproducción de errores, parcheo y validación) para guiar su comportamiento.

Sin embargo, surge una pregunta crítica: ¿Hasta qué punto los agentes realmente siguen estos planes instruidos?

Actualmente, no existe un análisis sistemático que determine el grado de cumplimiento.
Sin este análisis, es imposible distinguir si una solución exitosa se debe a un razonamiento estratégico correcto o a fenómenos adversos como la contaminación de datos (el modelo "memorizó" la solución) o el sobreajuste a benchmarks específicos.
Los planes actúan solo como consejos en el prompt del sistema; no hay mecanismos de ejecución que los obliguen, y su influencia puede diluirse a medida que crece el contexto de la tarea.

2. Metodología

Los autores realizaron un análisis extenso, sistemático y totalmente automatizado de la cumplimiento de planes en agentes de programación.

Datos: Se analizaron 16,991 trayectorias generadas por el agente SWE-agent para resolver instancias de dos benchmarks populares: SWE-bench Verified y SWE-bench Pro.
Modelos: Se evaluaron cuatro LLMs principales: GPT-5 mini, DeepSeek-V3, DeepSeek-R1 y Devstral-small.
Configuraciones de Plan: Se probaron 8 variaciones de planes:
1. Plan Estándar (Navegación-N-Reproducción-R-Parcheo-P-Validación-V).
2. Sin Plan (eliminación total del plan del prompt).
3. Plan Reducido (eliminación de la fase de Reproducción o Validación).
4. Plan Aumentado (adición de fases como ejecución de pruebas de regresión o resumen de cambios).
5. Plan Reordenado (cambio de secuencia, ej. parchear antes de reproducir).
6. Recordatorio Periódico (reinyección del plan cada 5 pasos).
Métricas Propuestas (Novedad): Se introdujo una métrica de cumplimiento de plan ($PC$) basada en tres dimensiones, calculada mediante una representación llamada Langutory (que mapea acciones a una secuencia de letras):
1. Cumplimiento de Fase del Plan ($PPC$): ¿Se cubrieron todas las fases requeridas?
2. Cumplimiento del Orden del Plan ($POC$): ¿Se ejecutaron en el orden correcto (subsecuencia creciente más larga)?
3. Fidelidad de la Fase del Plan ($PPF$): ¿Se evitaron fases no especificadas en el plan (ruido)?
- La puntuación final $PC$ es la media geométrica de estas tres métricas.

3. Contribuciones Clave

Primer análisis a gran escala: Es el primer estudio sistemático que cuantifica el cumplimiento de planes en agentes de programación.
Nuevas métricas: Introducción de $PPC$, $POC $y$ PPF$ para evaluar el proceso, no solo el resultado final.
Identificación de causas raíz: Especulación y evidencia sobre por qué se violan los planes (sobreajuste, presión de la ventana de contexto, estrategias internas del modelo).
Relación entre cumplimiento y éxito: Análisis de cómo la adherencia al plan correlaciona con la resolución de problemas.

4. Resultados Principales

Cumplimiento Variable: Los agentes siguen los planes, pero con tasas variables. Algunos (como Devstral-small) siguen el orden estricto, mientras que otros (como GPT-5 mini) adaptan su estrategia según la dificultad, a veces ignorando fases como la reproducción de errores.
Impacto del Plan Estándar: Seguir el plan mejora la resolución de problemas. Sin embargo, un plan deficiente es peor que no tener plan.
- Ejemplo: Eliminar la fase de reproducción (aunque el modelo tienda a ignorarla) degrada el rendimiento más que tener un plan completo.
Estrategias Internas vs. Planes Instruidos:
- Sin un plan explícito, los agentes recurren a estrategias internalizadas durante el entrenamiento. Estas a menudo se superponen con el plan estándar, pero no siempre.
- Si la estrategia interna no coincide con el plan (ej. un modelo que no sabe generar pruebas de reproducción), forzar ese plan puede causar fallos catastróficos (errores de llamadas a herramientas).
Advertencia sobre la Aumentación: Añadir fases "relevantes" al plan (como pruebas de regresión al inicio) puede degradar el rendimiento si no se alinean con la estrategia interna del modelo, distrayéndolo o añadiendo sobrecarga innecesaria.
Recordatorios Periódicos: Reinyectar el plan en el contexto cada ciertos pasos reduce las violaciones y mejora el éxito, mitigando el problema de la "presión de la ventana de contexto" (olvido del plan inicial).
Generalización (SWE-bench Pro): En el benchmark más difícil y menos contaminado (Pro), el cumplimiento de plan cae un 13% en promedio. Los agentes tienden a abandonar la generación de pruebas de reproducción y se centran en navegación y parcheo, sugiriendo que el plan estándar ya no es efectivo para guiar el razonamiento en tareas complejas.
Nondeterminismo: Aunque existe, no altera las conclusiones principales; los patrones de comportamiento son consistentes.

5. Significado e Implicaciones

Brecha de Investigación: Los hallazgos revelan una brecha crítica: los paradigmas actuales tienden a codificar planes específicos de tareas en los modelos (o a que estos los memoricen), en lugar de enseñarles a seguir planes instruidos de forma adaptable.
Cambio de Paradigma: El futuro de la investigación debe centrarse en ajuste fino (fine-tuning) que enseñe a los modelos a razonar y actuar adaptativamente siguiendo instrucciones externas, en lugar de depender de flujos de trabajo memorizados.
Evaluación de Agentes: La evaluación de agentes no debe basarse solo en si resuelven un problema, sino en cómo lo resuelven. Un agente que resuelve un problema saltándose un plan crítico podría estar "adivinando" o aprovechando contaminación de datos, lo cual es peligroso para aplicaciones reales.
Diseño de Planes: Los diseñadores de agentes deben ser cautelosos al modificar planes. Añadir pasos "buenos" (mejores prácticas) sin considerar la estrategia interna del modelo puede ser contraproducente.

En resumen, el papel demuestra que la alineación entre el plan instruido y la estrategia internalizada del modelo es el factor determinante para el éxito, y que la mera inclusión de un plan en el prompt no garantiza su seguimiento ni una mejor resolución de problemas.