📊 statistics

Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently

Este artículo demuestra teóricamente que, aunque tanto el aprendizaje por refuerzo con recompensas de proceso como el ajuste fino supervisado permiten que transformadores de una sola capa aprendan funciones booleanas dispersas mediante razonamiento de cadena de pensamiento, difieren fundamentalmente en sus dinámicas de aprendizaje, ya que el aprendizaje por refuerzo adquiere toda la cadena de razonamiento simultáneamente mientras que el ajuste fino supervisado la aprende paso a paso.

Autores originales: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

Publicado 2026-05-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot muy inteligente pero ligeramente confundido (un Transformer) que necesita resolver un rompecabezas complejo. El rompecabezas es una función booleana, que es simplemente una forma elegante de decir un problema lógico donde la respuesta es "Sí" (+1) o "No" (-1). Específicamente, el artículo examina rompecabezas "dispersos", lo que significa que la respuesta solo depende de unas pocas piezas de información específicas ocultas entre mucho ruido.

Para resolver estos rompecabezas, el robot utiliza una estrategia llamada Cadena de Pensamiento (CoT). En lugar de saltar directamente a la respuesta, descompone el problema en una serie de pequeños pasos intermedios, como un humano que piensa a través de un problema matemático paso a paso en un borrador.

El artículo investiga dos formas diferentes de enseñarle a este robot a usar CoT de manera efectiva: Ajuste Fino Supervisado (SFT) y Aprendizaje por Refuerzo (RL). Los autores demuestran que ambos métodos funcionan, pero enseñan al robot de maneras fundamentalmente diferentes.

Aquí está el desglose usando analogías simples:

1. El Rompecabezas: Descomposición Recursiva

Imagina que el rompecabezas es un árbol gigante. Para encontrar la respuesta en la parte superior, tienes que resolver pequeños problemas lógicos de 2 piezas en la parte inferior, luego combinar esas respuestas para resolver problemas de 2 piezas ligeramente más grandes, y así sucesivamente, hasta llegar a la parte superior.

El Objetivo: El robot necesita aprender a mirar solo las dos piezas de información específicas (las "hojas" relevantes) necesarias para cada paso e ignorar el resto del ruido.

2. Los Dos Profesores

Profesor A: El Instructor Estricto de Entrenamiento (SFT)

El Ajuste Fino Supervisado (SFT) es como un profesor que le da al robot la clave de respuestas perfecta para cada paso individual del rompecabezas.

Cómo funciona: El profesor dice: "Para el paso 1, la respuesta es X. Para el paso 2, la respuesta es Y".
El Truco: El robot debe generar la respuesta para el paso 2 basándose en lo que acaba de escribir para el paso 1.
El Resultado (Aprendizaje Paso a Paso): El artículo demuestra que este robot aprende un paso a la vez.
- Analogía: Imagina intentar aprender una rutina de baile. Si te equivocas en el primer movimiento, no puedes aprender el segundo movimiento porque tu posición de partida es incorrecta. El robot debe dominar el Paso 1 perfectamente antes de poder siquiera empezar a aprender el Paso 2. Se requiere una sesión de entrenamiento para arreglar el Paso 1, luego otra sesión para arreglar el Paso 2, y así sucesivamente. Es un proceso lento y lineal.

Profesor B: El Entrenador de Procesos (RL con Recompensas de Proceso)

El Aprendizaje por Refuerzo (RL) es como un entrenador que no solo mira la puntuación final, sino que da retroalimentación sobre cada movimiento individual que hace el robot.

Cómo funciona: El robot intenta resolver el rompecabezas. Si acierta un pequeño paso, el entrenador le da una recompensa de "buen trabajo" inmediatamente. Si se equivoca, recibe una penalización.
El Resultado (Aprendizaje Simultáneo): El artículo demuestra que este robot aprende toda la cadena de pasos a la vez.
- Analogía: Imagina a un entrenador gritando: "¡Buen trabajo con los pies en el movimiento 1! ¡Buena posición de la mano en el movimiento 5! ¡Mal codo en el movimiento 3!" todo al mismo tiempo. Como el robot recibe retroalimentación específica para cada paso individual, independientemente de si los pasos anteriores fueron perfectos, puede ajustar toda su rutina en una sola sesión de entrenamiento. Aprende todo el baile simultáneamente.

3. El Gran Descubrimiento: "Proceso" vs. "Resultado"

El artículo destaca una diferencia crucial en cómo estos profesores dan retroalimentación:

SFT depende de la propia salida anterior del robot. Si el robot se equivoca al principio, la "verdad fundamental" para el siguiente paso se convierte en ruido confuso. Esto fuerza el aprendizaje paso a paso.
RL (específicamente con recompensas de proceso) le da al robot la "verdad fundamental" correcta para cada paso de forma independiente. No importa si el robot se equivocó en el paso 1; el entrenador aún sabe lo que el paso 2 debería haber sido y recompensa/penaliza en consecuencia. Esto permite el aprendizaje "todo a la vez".

4. ¿Qué pasa con los rompecabezas "difíciles"?

El artículo probó esto en tres tipos específicos de rompecabezas lógicos:

k-PARIDAD: Como verificar si un grupo de interruptores tiene un número par o impar de posiciones "encendidas". (Esto es notoriamente difícil de aprender para la IA sin ayuda).
k-AND: Verificar si todos los interruptores específicos están "encendidos".
k-OR: Verificar si al menos uno de los interruptores específicos está "encendido".

El artículo demuestra matemáticamente que para los tres de estos rompecabezas, ambos métodos de enseñanza funcionan, siempre que el robot pueda distinguir entre las piezas de información "importantes" y el "ruido".

Resumen de los Hallazgos

Ambos funcionan: Puedes enseñarle a un Transformer a realizar razonamiento complejo usando SFT o RL.
Son diferentes:
- SFT es como un estudiante que debe dominar los fundamentos antes de avanzar. Aprende paso a paso.
- RL (con recompensas de proceso) es como un estudiante que recibe retroalimentación instantánea sobre cada parte específica del problema. Aprende toda la cadena simultáneamente.
La Advertencia: Si comparas SFT y RL en la vida real, debes tener cuidado. Si cambias cómo el profesor da retroalimentación (por ejemplo, usando una "recompensa final" solo al final en lugar de "recompensas de proceso" en cada paso), el comportamiento de aprendizaje cambia completamente. El artículo sugiere que comparar estos dos métodos requiere controlar cómo se diseñan las recompensas, no solo el método en sí.

En resumen, el artículo muestra que, aunque ambos métodos pueden enseñarle a un robot a pensar lógicamente, lo hacen con diferentes "velocidades de aprendizaje" y "estilos de enseñanza", y comprender estas diferencias es clave para construir una IA mejor.

Resumen Técnico: Los Transformers con RL o SFT Aprenden Funciones Booleanas Esparsas de Forma Demostrable, Pero de Manera Diferente

Planteamiento del Problema
Los Modelos de Lenguaje Grande (LLM) basados en la arquitectura Transformer han demostrado capacidades de razonamiento notables mediante la técnica de Chain-of-Thought (CoT). Si bien el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL) son los métodos principales para potenciar estas capacidades, los mecanismos teóricos subyacentes a sus dinámicas de aprendizaje permanecen poco comprendidos. Específicamente, existe una falta de análisis riguroso que compare cómo el RL (particularmente con recompensas de proceso) y el SFT (específicamente sin teacher forcing) permiten a los Transformers aprender funciones booleanas complejas y esparsas que de otro modo serían difíciles de aprender de manera end-to-end. Este trabajo aborda esta brecha investigando la aprendibilidad de funciones booleanas $k$ -esparsas —funciones determinadas por un pequeño subconjunto de $k$ bits de entrada— utilizando un Transformer de una sola capa equipado con pasos de razonamiento intermedios.

Metodología
Los autores proponen un marco teórico unificado para analizar las dinámicas de aprendizaje tanto del RL como del SFT en una clase específica de funciones booleanas $k$ -esparsas. Estas funciones se descomponen recursivamente en funciones booleanas fijas 2-esparsas (por ejemplo, paridad, AND, OR), formando una cadena de razonamiento análoga al CoT.

Arquitectura del Modelo: El estudio utiliza un Transformer simplificado de una sola capa que consta de codificación posicional, una capa de autoatención y una capa de alimentación frontal (feedforward). El modelo está diseñado para generar iterativamente pasos de razonamiento intermedios ( $y^{(t)}$ ) antes de producir una respuesta final.
Máscara "Preentrenada": Para garantizar la manejabilidad teórica y simular los priores estructurales obtenidos del preentrenamiento, los autores imponen una máscara "preentrenada" específica sobre los pesos de atención. Esta máscara restringe la atención de los tokens de razonamiento a sus nodos hijos relevantes (definidos por la descomposición recursiva) y a la secuencia de entrada, controlando efectivamente la propagación del error.
Paradigmas de Aprendizaje:
- RL con Recompensa de Proceso: El Transformer se optimiza mediante gradiente de política para maximizar una función de recompensa donde las recompensas se asignan a cada paso de razonamiento intermedio ( $r_t$ ), en lugar de solo al resultado final.
- SFT sin Teacher Forcing: El Transformer se entrena para minimizar una pérdida (pérdida de margen o hinge loss) sobre las cadenas de razonamiento generadas en comparación con las etiquetas de verdad fundamental. Crucialmente, el modelo genera sus propios pasos intermedios durante el entrenamiento (generación autoregresiva) en lugar de recibir prefijos de verdad fundamental (teacher forcing), abordando así la discrepancia entre entrenamiento e inferencia.
Herramienta Analítica Central: Los autores introducen un "componente de gradiente crítico" ( $\gamma$ ). Demuestran que la separación de este componente —donde la señal de gradiente para las posiciones relevantes (nodos hijos) es estrictamente mayor que para las posiciones irrelevantes— sirve como una condición suficiente para la aprendibilidad demostrable.

Contribuciones y Resultados Clave
El artículo establece condiciones suficientes bajo las cuales un Transformer de una sola capa puede aprender demostrablemente funciones booleanas $k$ -esparsas mediante tanto RL como SFT. Los hallazgos principales son:

Condición Unificada de Aprendibilidad: Tanto el RL como el SFT tienen éxito si el componente de gradiente crítico separa las posiciones relevantes de las irrelevantes. Esta condición se verifica para tres ejemplos fundamentales: $k$ -PARIDAD, $k$ -AND y $k$ -OR.
Dinámicas de Aprendizaje Distintas:
- RL (Recompensa de Proceso): Bajo la condición de separación, el RL aprende toda la cadena de razonamiento CoT simultáneamente en una sola actualización de gradiente. La recompensa de proceso proporciona señales informativas para todos los pasos independientemente del estado actual de otros pasos, permitiendo que el modelo adquiera la capacidad completa de razonamiento de inmediato.
- SFT (Sin Teacher Forcing): En contraste, el SFT exhibe un comportamiento de aprendizaje paso a paso. Debido a la naturaleza autoregresiva de la generación, el modelo no puede aprender fiablemente el paso $t$ hasta que el paso $t-1$ se genera correctamente. En consecuencia, el SFT requiere $T$ actualizaciones de gradiente (donde $T$ es la longitud de la cadena) para aprender toda la cadena, resolviendo un paso por actualización.
Dificultad de la Recompensa Final: El artículo demuestra que el RL optimizado únicamente con una recompensa final (basada en el resultado) falla en aprender estas funciones de manera eficiente. La varianza del gradiente de política es exponencialmente pequeña, ahogando la señal en el ruido, lo que explica la necesidad de recompensas de proceso para tareas de razonamiento complejo.
Extensión a CoT Serial: El análisis se extiende más allá de la descomposición en árbol binario hacia estructuras CoT seriales (comunes en LLM prácticos), confirmando que las mismas dinámicas de aprendizaje (simultánea para RL, paso a paso para SFT) se mantienen bajo un enmascaramiento apropiado.

Significado y Afirmaciones
Los autores afirman que este trabajo proporciona la primera caracterización teórica de las dinámicas de aprendizaje del RL con recompensas de proceso para Transformers, llenando una brecha crítica en la literatura. Al eliminar el teacher forcing y las estrategias de aumento de datos a menudo utilizadas en trabajos teóricos anteriores (por ejemplo, Kim & Suzuki, 2025), el estudio ofrece una comparación más realista entre el RL y el SFT.

El significado radica en revelar que, aunque ambos métodos pueden lograr la aprendibilidad, lo hacen a través de mecanismos fundamentalmente diferentes:

El RL con recompensas de proceso imita la eficiencia del SFT con teacher forcing al aprender toda la cadena simultáneamente.
El SFT sin teacher forcing induce naturalmente un currículo paso a paso, una propiedad intrínseca del entrenamiento autoregresivo que no requiere aprendizaje de currículo externo ni filtrado de datos.

El artículo concluye que las comparaciones empíricas entre el RL y el SFT deben controlar cuidadosamente factores como el diseño de recompensas (proceso vs. resultado) y los regímenes de entrenamiento (teacher forcing vs. generación autoregresiva), ya que estos factores alteran significativamente las dinámicas de aprendizaje y pueden confundir la comparación de los propios métodos de optimización.