💬 NLP

Can Large Language Models Generalize Procedures Across Representations?

Este artículo demuestra que un currículo de aprendizaje por refuerzo de dos etapas, que entrena secuencialmente a modelos de lenguaje de gran tamaño en datos simbólicos (código/grafos) seguido de lenguaje natural, permite una generalización de representación cruzada efectiva de tareas procedimentales, permitiendo que un modelo pequeño de 1.5B iguale el rendimiento de planificación zero-shot de GPT-4o.

Autores originales: Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

Publicado 2026-06-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a hornear un pastel. Tienes tres formas de darle instrucciones:

Lenguaje Natural: Una receta escrita en un libro ("Mezcle la harina, luego añada los huevos...").
Código: Un programa de computadora que enumera los pasos y los tiempos.
Grafo: Un diagrama de flujo con flechas que muestran qué paso debe ocurrir antes del siguiente.

La gran pregunta que este artículo plantea es: Si le enseñas al robot usando el diagrama de flujo (Grafo) o el código, ¿sabrá automáticamente cómo seguir la receta escrita (Lenguaje Natural)?

Los investigadores descubrieron que la respuesta es mayormente no.

El Probleo: La "Barrera del Lenguaje"

Los autores descubrieron que los Modelos de Lenguaje Extensos (LLM) son como estudiantes que son muy buenos memorizando el formato de las instrucciones, pero malos entendiendo la lógica detrás de ellas.

La trampa del "Formato Único": Si entrenas a un robot solo con diagramas de flujo, se convierte en un maestro de los diagramas de flujo. Pero si luego le pides que resuelva un problema usando una receta escrita, se confunde. No se da cuenta de que "el Paso A debe ocurrir antes del Paso B" en un diagrama de flujo es exactamente la misma regla que "Primero, haga A, luego haga B" en una oración.
El atajo "Perezoso": Cuando el robot intenta adivinar la respuesta en un nuevo formato, a menudo toma un atajo perezoso. En lugar de descifrar el orden complejo de los pasos (la "ruta crítica"), simplemente suma todos los tiempos juntos. Es como alguien que intenta averiguar la ruta más rápida al trabajo sumando el tiempo de todas las carreteras posibles, en lugar de encontrar la ruta más corta real.

La Solución: Un Campamento de Entrenamiento de Dos Etapas

Dado que el robot no podía simplemente "descubrirlo" por su cuenta, los autores diseñaron un currículo de entrenamiento especial (un plan de lecciones) para arreglarlo. Piensa en esto como aprender un instrumento musical:

Etapa 1: La Clase de Matemáticas (Entrenamiento Simbólico): Primero, le enseñan al robot usando los formatos "difíciles" (Código y Diagramas de Flujo). Esto obliga al robot a aprender las reglas lógicas estrictas del procedimiento sin distraerse con palabras elegantes. Es como aprender la teoría de la música antes de intentar tocar una canción.
Etapa 2: La Sesión de Jam (Adaptación al Lenguaje Natural): Una vez que el robot entiende la lógica, cambian a enseñarle usando lenguaje natural (la receta). Debido a que el robot ya conoce las reglas de la Etapa 1, ahora puede aplicarlas al nuevo lenguaje.

El Resultado: Este método de dos pasos funcionó de maravilla. Un robot pequeño (1.5 mil millones de parámetros) entrenado de esta manera funcionó casi tan bien como un robot masivo y súper inteligente (GPT-4o) que nunca había visto este entrenamiento específico antes.

El Ingrediente Secreto: "Analogía Generativa"

¿Por qué funcionó esto? El artículo sugiere que el robot aprendió a usar la analogía generativa.

Frecuencia vs. Analogía:
- La Frecuencia es como memorizar que "Rey + Reina = Realeza" porque lo viste un millón de veces.
- La Analogía es entender la relación entre las palabras para poder aplicarla a cosas nuevas (por ejemplo, "Doctor + Enfermera = Equipo de Hospital").
Los investigadores descubrieron que los robots exitosos no solo memorizaban patrones; estaban construyendo un puente mental. Se dieron cuenta de que: "Oh, esta estructura de diagrama de flujo es análoga a esta estructura de oración". El entrenamiento de dos etapas los obligó a construir ese puente.

El Problema: No es Magia (Todavía)

El artículo hace una distincción importante entre los robots y los humanos:

Los Humanos son como genios que pueden mirar un diagrama de flujo una vez e inmediatamente entender cómo escribir la receta. Generalizamos instantáneamente.
Los Robots son como estudiantes diligentes que necesitan practicar la lógica en un formato durante mucho tiempo antes de poder aplicarla con éxito a otro. Necesitan esa "tarea extra" (el entrenamiento de dos etapas) para hacer la conexión.

Resumen

El artículo demuestra que simplemente entrenar a una IA en código o grafos no la hace automáticamente buena en tareas de lenguaje natural. Sin embargo, si la entrenas en la lógica primero (usando código/grafos) y luego le enseñas el lenguaje, puede aprender a traducir esas reglas lógicas al habla humana. Esto convierte a la IA de un memorizador de patrones en un verdadero solucionador de problemas que puede entender el "porqué" detrás de los pasos, no solo el "qué".

Resumen Técnico: ¿Pueden los Grandes Modelos de Lenguaje Generalizar Procedimientos a través de Representaciones?

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLM) son entrenados extensamente en representaciones simbólicas como el código y los grafos, sin embargo, las tareas reales de los usuarios se especifican predominantemente en lenguaje natural (NL). Una capacidad crítica y poco explorada para que los LLM sean robustos es la generalización trans-representacional: la capacidad de transferir el conocimiento procedimental aprendido en una representación (por ejemplo, código o grafos) para resolver tareas especificadas en otra (por ejemplo, lenguaje natural).

La investigación existente a menudo confunde factores de representación superficial con otros estructurales profundos, fallando al aislar si el entrenamiento simbólico ayuda o dificulta el razonamiento en lenguaje natural. Además, mientras que la ciencia cognitiva identifica la analogía generativa —la capacidad de mapear estructuras aprendidas a través de representaciones alineando estructuras subyacentes compartidas— como un mecanismo central del razonamiento humano, los LLM son estudiados principalmente en analogías proporcionales con alta similitud superficial. Este artículo investiga si los LLM pueden generalizar procedimientos a través de tareas isomórficas presentadas en lenguaje natural, grafos y código, y si no es así, cómo cerrar esta brecha.

Metodología

Configuración Experimental

Los autores construyeron un entorno experimental controlado utilizando tareas isomórficas donde el algoritmo subyacente permanece idéntico, pero la representación superficial varía. La tarea principal es la planificación asíncrona (programar pasos con dependencias y duraciones de tiempo), formalizada como encontrar el camino más largo (camino crítico) en un Grafo Acíclico Dirigido (DAG).

Lenguaje Natural (NL): Tareas descritas como instrucciones paso a paso con dependencias (por ejemplo, "El Paso 1 debe preceder al Paso 3").
Grafo: Tareas representadas como listas de adyacencia y pesos de nodos.
Código: Tareas representadas como fragmentos de Python que implementan algoritmos de camino más largo en DAG con entradas específicas.

El estudio evaluó tres familias de modelos (Qwen-2.5, Llama-3, Olmo-2) a través de varias escalas (de 1.5B a 7B de parámetros) utilizando cuatro estrategias de post-entrenamiento:

SFT Vanilla: Ajuste fino (fine-tuning) en pares de pregunta-respuesta sin Cadena de Pensamiento (CoT).
Destilación: Entrenamiento en razonamiento CoT generado por un modelo profesor más fuerte (DeepSeek-R1-Distill-Qwen-32B).
STaR (Self-Taught Reasoner): Un método de arranque (bootstrapping) donde el modelo entrena sobre sus propias generaciones correctas.
GRPO (Group Relative Policy Optimization): Un método de aprendizaje por refuerzo utilizando recompensas de resultado verificables.

Solución Propuesta: Currículo de RL de Dos Etapas

Para abordar el fallo observado del entrenamiento de una sola representación, los autores proponen un currículo de aprendizaje por refuerzo de dos etapas:

Etapa 1 (Inducción Simbólica): Entrenar al modelo en datos simbólicos (Grafo o Código) para aprender procedimientos abstractos.
Etapa 2 (Adaptación al Lenguaje Natural): Entrenar continuamente al modelo en datos de Lenguaje Natural para adaptar los procedimientos aprendidos a la representación objetivo.

Este enfoque separa el aprendizaje de la estructura abstracta de la adaptación de la forma superficial.

Resultados Clave

1. Fallo de la Generalización Trans-Representacional Ingenua

De Simbólico a NL: El entrenamiento únicamente en datos de Grafo o Código produce un alto rendimiento dentro de esas representaciones, pero falla al generalizarse a tareas de NL. El rendimiento a menudo colapsa bajo cambios de representación, incluso cuando la lógica subyante es idéntica.
De NL a Simbólico: El entrenamiento únicamente en datos de NL conduce a ganancias de rendimiento ineficientes y no transfiere de manera confiable a tareas simbólicas.
Comparación de Métodos: Aunque GRPO y la Destilación muestran un fuerte rendimiento dentro de su propia representación, no resuelven inherentemente la brecha trans-representacional. Escalar los parámetros del modelo (por ejemplo, de 1.5B a 7B) no cambia cualitativamente este patrón de fallo; los modelos más grandes a menudo exhiben una caída más aguda en el rendimiento fuera de la distribución.

2. Eficacia del Currículo de Dos Etapas

Ganancias de Rendimiento: El currículo Grafo $\to$ NL mejora sustancialmente el rendimiento. Un modelo Qwen de 1.5B entrenado con este currículo supera a su variante de 7B entrenada solo en NL y iguala el rendimiento zero-shot de GPT-4o en la tarea de planificación asíncrona.
Robustez: El currículo demuestra robustez ante variaciones lingüísticas, superando a los baselines en NL-AAVE (Inglés Vernáculo Afroamericano), un dialecto variante que desafía a los modelos de frontera.
Sensibilidad al Orden: El orden del entrenamiento es crítico. Revertir el currículo (NL $\to$ Grafo) funciona peor que entrenar solo en NL, lo que indica que la inducción simbólica es necesaria para establecer la base estructural antes de la adaptación.
Generalización: Los beneficios del currículo se extienden más allá de la planificación hacia tareas de Matemáticas y Física, mostrando una mejor generalización a través de dominios.

3. Mecanismo de Generalización: Analogía Generativa

Los autores analizan si el éxito es impulsado por la frecuencia de los datos o por la similitud estructural (analogía).

Análisis de Correlación: Utilizando la teoría de mapeo de estructuras, cuantifican la "fuerza analógica" entre las instancias de entrenamiento y de prueba. Los resultados muestran que la generalización trans-representacional exitosa se correlaciona significativamente más con una alta fuerza analógica (similitud estructural) que con la frecuencia de instancias de entrenamiento similares.
Evidencia Cualitativa: Los modelos entrenados con el currículo exhiben un razonamiento más sistemático (iterando a través de múltiples caminos para encontrar el más largo) en comparación con el "razonamiento perezoso" o la simple suma observada en modelos entrenados solo en NL o Grafo por separado.

Significado y Reivindicaciones

El artículo afirma que, si bien los LLM poseen la capacidad de generalizar a través de representaciones, no lo hacen de forma natural mediante los métodos estándar de post-entrenamiento. En su lugar, esta capacidad debe ser cultivada a través de currículos específicos.

Analogía Generativa: El estudio interpreta la exitosa generalización trans-representacional como una forma de analogía generativa, donde el modelo alinea las estructuras subyacentes compartidas en lugar de memorizar patrones superficiales. El currículo propuesto fomenta eficazmente este comportamiento analógico.
Requisitos de Entrenamiento: A diferencia del razonamiento analógico humano, que puede generalizar con una exposición mínima, los LLM requieren un entrenamiento extendido en las nuevas representaciones (mediante la etapa de adaptación) para utilizar eficazmente los procedimientos abstractos aprendidos en la etapa simbólica.
Limitaciones: Los autores señalan que, a pesar de las mejoras, persiste una brecha de rendimiento entre el NL estándar y las variantes dialectales (NL-AAVE), lo que resalta desafíos continuos en la equidad tecnológica. Además, el artículo no pretende que escalar las representaciones en el momento del entrenamiento por sí solo resolverá el problema, ya que el escalado de una sola representación falló en producir transferencia.

En conclusión, el trabajo demuestra que un currículo de RL estructurado de dos etapas puede cerrar la brecha entre el razonamiento simbólico y el lenguaje natural, permitiendo que modelos más pequeños alcancen niveles de rendimiento comparables a modelos mucho más grandes, en modo zero-shot, en tareas procedimentales complejas.