💬 NLP

Programming by Backprop: An Instruction is Worth 100 Examples When Finetuning LLMs

El artículo presenta "Programming by Backprop" (PBB), un régimen de entrenamiento que permite a los modelos de lenguaje grandes adquirir conocimientos procedimentales a partir de instrucciones declarativas, logrando una eficiencia de muestra donde una sola instrucción puede sustituir hasta 100 ejemplos de ejecución.

Autores originales: Jonathan Cook, Silvia Sapora, Arash Ahmadian, Akbir Khan, Tim Rocktaschel, Jakob Foerster, Laura Ruis

Publicado 2026-02-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jonathan Cook, Silvia Sapora, Arash Ahmadian, Akbir Khan, Tim Rocktaschel, Jakob Foerster, Laura Ruis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef de cocina muy inteligente (el modelo de lenguaje o LLM). Normalmente, para enseñarle a cocinar un plato nuevo, tienes que darle dos cosas:

La receta escrita (instrucciones).
Un video de alguien cocinándolo (ejemplos o demostraciones).

Hasta ahora, la mayoría de los chefs de IA necesitaban ver el video muchas veces para aprender. Si solo le dabas la receta escrita, el chef decía: "Entiendo las palabras, pero no sé cómo mover la cuchara".

Este paper presenta una nueva técnica llamada "Programación por Retropropagación" (PBB). Es como un truco de magia para entrenar a estos chefs.

La Analogía Principal: El Chef y la "Receta Mágica"

Imagina que en lugar de solo ver videos, le das al chef una receta escrita (instrucción) y le dices: "Aprende esta receta de memoria". Luego, le das un video de alguien cocinando un plato diferente pero con una receta similar.

Lo que descubre este paper es que, si organizas el entrenamiento en dos etapas específicas, el chef logra algo increíble: puede aprender a cocinar un plato nuevo basándose en una sola receta escrita, sin necesidad de ver el video de ese plato específico.

Es como si el chef, al leer la receta y ver otros platos, entendiera la lógica profunda de la cocina y pudiera "compilar" esa receta directamente en su cerebro, sin tener que practicarla físicamente cientos de veces.

Los Dos Métodos (Los "Entrenamientos")

Los autores probaron dos formas de hacer esto, que llaman Proactiva y Retrógrada:

Entrenamiento Proactivo (El "Aprendizaje por Etapas"):
- Paso 1: Le enseñas al chef a entender la relación entre cualquier receta escrita y su resultado, viendo muchos ejemplos de otros platos.
- Paso 2: Le das una receta nueva (que nunca ha visto) y le dices: "Lee esto y guárdalo en tu memoria".
- Resultado: ¡Funciona! El chef puede cocinar el plato nuevo solo con la receta escrita. Es como si hubiera aprendido a "traducir" palabras a acciones automáticamente.
Entrenamiento Retrógrado (El "Despertar"):
- Paso 1: Le haces leer todas las recetas del mundo (sin cocinar nada). Solo lee y memoriza las palabras.
- Paso 2: Luego, le das un puñado de ejemplos reales de cocina (videos) de algunos platos.
- Resultado: Al ver esos pocos ejemplos, el chef "despierta" y recuerda cómo aplicar todas las recetas que leyó antes. Es como si los ejemplos fueran la llave que enciende el conocimiento que ya tenía dormido.

¿Por qué es esto un gran avance? (La Eficiencia)

El paper demuestra algo asombroso: Una sola instrucción escrita puede valer por hasta 100 ejemplos de video.

Antes: Para enseñar a un modelo a hacer una tarea nueva, necesitabas miles de ejemplos (videos de código ejecutándose, o oraciones generadas).
Ahora (con PBB): Con una sola descripción clara (como un fragmento de código o una regla gramatical), el modelo puede aprender la tarea.

¿Dónde lo probaron?

Los investigadores no solo lo probaron con recetas, sino en dos áreas muy técnicas:

Código de Computadora: Enseñaron al modelo a ejecutar programas de Python leyendo solo el código fuente, sin ver los resultados de entrada/salida.
Gramática: Enseñaron al modelo a escribir oraciones siguiendo reglas gramaticales complejas que nunca había visto antes, solo leyéndolas.

El "Pero" (La Realidad)

Hay una pequeña trampa. Aunque el modelo aprende a hacerlo, no es perfecto.

Si le das la receta mientras está cocinando (en el contexto de la conversación), lo hace perfecto.
Si le enseñaste la receta antes (en el entrenamiento) y luego le pides que lo haga de memoria, lo hace bien, pero a veces comete errores pequeños. Es como un chef que ha memorizado la receta pero a veces olvida un paso si no tiene la tarjeta de la receta frente a él.

¿Por qué importa esto para el futuro?

Ahorro de Datos: No necesitamos generar millones de ejemplos de entrenamiento. Con buenas instrucciones, podemos enseñar cosas nuevas mucho más rápido.
Seguridad: Esto es una advertencia. Si en los datos de entrenamiento hay instrucciones peligrosas (por ejemplo, "cómo fabricar un arma" o "cómo hackear un sistema"), el modelo podría aprender a hacerlo solo con leer la descripción, sin necesidad de ver ejemplos de alguien haciéndolo. Esto significa que debemos tener mucho cuidado con lo que leemos a la IA.
Aprendizaje Real: Sugiere que las IAs pueden aprender conceptos abstractos (como "hacer una suma" o "seguir una regla") y aplicarlos a situaciones nuevas, no solo repetir lo que vieron.

En resumen: Este paper nos dice que si le damos a una IA instrucciones claras y estructuradas (como código o reglas) en el momento adecuado, puede "programarse" a sí misma para aprender nuevas habilidades con muy poca práctica, como un estudiante brillante que entiende la teoría y puede aplicarla sin necesidad de ver al profesor hacerlo 100 veces.

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) se entrenan tradicionalmente para adquirir comportamientos a través de demostraciones (ejemplos de entrada-salida) o experiencia (aprendizaje por refuerzo). Sin embargo, una gran parte de los datos de entrenamiento, especialmente durante el preentrenamiento, es declarativa: contiene instrucciones, reglas, algoritmos y descripciones que especifican qué hacer sin mostrar cómo ejecutarlo paso a paso.

La pregunta central de la investigación es: ¿Pueden los LLMs adquirir conocimiento procedimental (comportamientos reutilizables) a partir de estas instrucciones declarativas en los datos de entrenamiento, en lugar de depender únicamente de demostraciones explícitas?

Actualmente, los usuarios proporcionan instrucciones en el contexto (prompting) para condicionar la generación. El objetivo de este trabajo es lograr que el modelo "internalice" el comportamiento directamente en sus parámetros a partir de la instrucción, eliminando la necesidad de repetir la instrucción en cada inferencia y amortizando el costo computacional.

2. Metodología: Programming by Backprop (PBB)

Los autores introducen Programming by Backprop (PBB), un régimen de entrenamiento diseñado para "compilar" instrucciones abstractas en los pesos del modelo. La premisa fundamental es separar el aprendizaje de cómo una instrucción se mapea a un comportamiento de la internalización de nuevas instrucciones específicas.

El enfoque se basa en dos funciones de pérdida:

Pérdida Declarativa ( $L_{decl}$ ): Modelado de la instrucción en sí (probabilidad de generar el texto de la instrucción dado un contexto).
Pérdida de Ejecución ( $L_{exec}$ ): Modelado del comportamiento (probabilidad de generar la salida correcta dada una entrada y un contexto).

Se proponen dos curricula (planes de estudio) distintos para implementar PBB:

A. Proactive PBB (Proactiva)

Etapa 1: El modelo se entrena en un conjunto de instrucciones de entrenamiento ( $S_{train}$ ) utilizando una mezcla de la pérdida declarativa y la pérdida de ejecución. Aquí, el modelo aprende la correspondencia general entre instrucciones y comportamientos.
Etapa 2: Se expone al modelo a nuevas instrucciones de evaluación ( $S_{eval}$ $S_{e v a l}$ ) solo mediante la pérdida declarativa (sin ejemplos de ejecución).
- Mecanismo: Debido a que el modelo ya aprendió en la Etapa 1 que los gradientes de las instrucciones predicen las actualizaciones necesarias para la ejecución, el entrenamiento puramente declarativo en la Etapa 2 "compila" el comportamiento en los pesos.

B. Retroactive PBB (Retrospectiva)

Etapa 1: El modelo se entrena en todas las instrucciones (entrenamiento y evaluación) utilizando solo la pérdida declarativa. Adquiere conocimiento declarativo latente pero sin competencia de ejecución.
Etapa 2: Se introduce supervisión de ejecución solo para las instrucciones de entrenamiento ( $S_{train}$ $S_{t r ain}$ ).
- Mecanismo: Los gradientes de la ejecución en el conjunto de entrenamiento actualizan los parámetros compartidos, "activando" el conocimiento declarativo latente adquirido en la Etapa 1, permitiendo que el modelo ejecute incluso las instrucciones de evaluación que nunca vieron ejemplos de ejecución.

3. Configuración Experimental

Los autores evaluaron PBB en dos dominios sintéticos controlados:

Ejecución Algorítmica: Ejecutar funciones de Python a partir de su código fuente (conjuntos de datos: Random Arithmetic, Leetcode y Ciphers).
Generación bajo Gramáticas Formales: Generar oraciones que cumplan con reglas de gramáticas libres de contexto (CFG) específicas.

Se utilizaron modelos Qwen3 (4B, 8B, 14B), Llama-3 y GPT-4o (vía API). Se comparó el rendimiento contra la destilación de algoritmos (aprendizaje solo con ejemplos) y se analizaron variantes con y sin razonamiento de cadena de pensamiento (CoT).

4. Resultados Clave

Eficiencia de Muestra Extrema: El hallazgo más impactante es que una sola instrucción puede sustituir hasta 100 ejemplos de ejecución. En la tarea de aritmética aleatoria, el entrenamiento con una instrucción en la Etapa 2 de PBB proactiva logró una fidelidad de ejecución comparable o superior a entrenar con 100 pares de entrada-salida.
Necesidad del Currículo Estructurado: Entrenar solo con instrucciones o solo con ejemplos no funciona bien. La combinación estructurada (especialmente Proactive PBB) es esencial para que el modelo internalice el comportamiento.
Ejecución Implícita: Los modelos entrenados con PBB pueden ejecutar algoritmos complejos de múltiples pasos sin generar pasos intermedios de razonamiento (CoT) durante la inferencia. Esto sugiere que el modelo ha codificado la lógica del algoritmo directamente en sus pesos ("compilado").
Representación del Código: Las instrucciones expresadas en código fuente (Python) son significativamente más efectivas que las descripciones en lenguaje natural para el entrenamiento PBB, aunque la brecha disminuye en modelos más grandes.
Corrección de Sesgos y Generalización (OOD): En la tarea de cifrados (Ciphers), el entrenamiento con datos de demostración desequilibrados (sesgados hacia ciertos valores de desplazamiento) llevó a un rendimiento sesgado. PBB, al aprender la función general a partir del código, demostró una robustez superior ante variaciones de parámetros no vistos.
Composición: Los modelos entrenados con PBB pueden componer instrucciones aprendidas independientemente (ej. ejecutar una función que combina dos algoritmos entrenados por separado) sin necesidad de reentrenamiento explícito para la composición.
RL vs. SFT en la Etapa 2: En el régimen Retroactive, el Aprendizaje por Refuerzo (RL, específicamente GRPO) demostró ser más efectivo que el Ajuste Fino Supervisado (SFT) para generalizar la capacidad de ejecución, ya que SFT tendía a memorizar los ejemplos de entrenamiento en lugar de generalizar.

5. Contribuciones y Significancia

Nueva Paradigma de Entrenamiento: PBB demuestra que es posible "programar" comportamientos en un LLM mediante el entrenamiento en instrucciones declarativas, actuando como un compilador que convierte especificaciones en parámetros ejecutables.
Implicaciones para la Seguridad: El trabajo advierte que las instrucciones presentes en los datos de entrenamiento (incluso sin ejemplos de ejecución) pueden inducir comportamientos no deseados o peligrosos en el momento de la inferencia. Esto subraya la necesidad crítica de una curación de datos rigurosa y filtrado, ya que el modelo puede "aprender" a ejecutar instrucciones prohibidas solo con verlas descritas.
Eficiencia de Datos: Ofrece una ruta para reducir drásticamente la cantidad de datos de entrenamiento necesarios para enseñar nuevas habilidades procedimentales a los modelos, aprovechando la riqueza de las instrucciones declarativas existentes en internet.
Generalización: Los resultados sugieren que el conocimiento procedimental puede ser internalizado de manera latente y activado posteriormente, lo que tiene implicaciones profundas para el preentrenamiento continuo y el diseño de curricula en el desarrollo de modelos más grandes.

En resumen, el artículo establece que, bajo un régimen de entrenamiento adecuado, una instrucción vale tanto como 100 ejemplos, permitiendo a los LLMs internalizar algoritmos complejos de manera eficiente y robusta.