💬 NLP

MACRO: Markov Chain Routing of Transformer Layers

El artículo presenta MACRO, un marco de trabajo que mejora los modelos de lenguaje de gran tamaño mediante el aprendizaje de políticas de enrutamiento de capas dinámicas y específicas para cada tarea a través de cadenas de Markov sin modificar los pesos del modelo, logrando mejoras significativas en la precisión y tiempos de búsqueda más rápidos en comparación con los métodos existentes.

Autores originales: Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

Publicado 2026-08-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot superinteligente que lee libros y responde preguntas. Para hacer su trabajo, el robot tiene una larga línea de ensamblaje de 28 o 32 diminutos trabajadores (llamados "capas"). En una configuración estándar, cada pieza de información debe pasar frente a cada uno de los trabajadores, desde el primero hasta el último, en una línea estricta e inalterable. Es como un autobús escolar que debe detenerse en cada una de las casas de la calle, incluso si el pasajero solo necesita bajarse tres calles más adelante. Así es como funcionan la mayoría de los modelos de IA hoy en día: siguen un horario rígido, sin importar si la pregunta es fácil o difícil.

Pero, ¿qué pasaría si el robot pudiera ser un poco más flexible? ¿Qué pasaría si, en lugar de marchar en línea recta, pudiera decidir saltarse a un trabajador que no es necesario, o incluso volver atrás y pedirle a un trabajador anterior que revise sus cálculos? Esta idea se llama "enrutamiento dinámico". Piensa en esto como un GPS que no solo sigue un mapa impreso, sino que puede redirigirse instantáneamente para evitar el tráfico o tomar un atajo. Los científicos han intentado enseñar a la IA a hacer esto, pero la mayoría de los intentos son como intentar enseñarle a un conductor de autobús a conducir recableando el motor cada vez que encuentra una carretera nueva, o contratando a un guía separado y costoso para que grite direcciones para cada pasajero. Es lento, costoso y a menudo rompe el cerebro del robot.

Aquí es donde entra un nuevo estudio llamado MACRO. Los investigadores se hicieron una pregunta sencilla: ¿Podemos enseñarle a un robot congelado (uno cuyo cerebro no tenemos permitido cambiar) a encontrar un mejor camino a través de sus propios trabajadores sin romper nada? Descubrieron que, al tratar el camino del robot como un juego de "elige tu propia aventura" basado en un conjunto de reglas de probabilidad simples (llamadas cadena de Markov), pudieron encontrar una ruta mucho más inteligente. En lugar de reentrenar al robot o usar guías costosos, dejaron que el robot explorara diferentes caminos en algunas preguntas de práctica, aprendieron un único conjunto de reglas específico para la tarea para navegar por sus trabajadores, y luego utilizaron un truco matemático ingenioso para identificar la ruta absoluta mejor para esa tarea específica. Esta mejor ruta se utiliza uniformemente para todas las preguntas en esa tarea, en lugar de calcular un nuevo camino para cada pregunta individual.

Los resultados son sorprendentemente efectivos. En una variedad de complicados exámenes de matemáticas y ciencias, MACRO ayudó al robot a volverse significativamente más inteligente. Por ejemplo, en un difícil benchmark de matemáticas llamado GSM8K, un modelo de robot pequeño saltó de acertar el 43.4% de las respuestas al 69.5%, un salto masivo, solo cambiando el orden en el que visitaba a sus trabajadores. Los investigadores descubrieron que este método era mucho más rápido de configurar que los métodos anteriores. Mientras que otros enfoques tardaban casi 15 horas en determinar el mejor camino para una tarea, MACRO lo hizo en solo 1.6 horas.

La clave es que el robot ya sabía las respuestas; solo necesitaba una mejor manera de "escuchar" sus propios pensamientos internos. Al permitirle saltarse pasos innecesarios o volver atrás para revisar su trabajo, los investigadores desbloquearon el potencial oculto sin cambiar ni un solo peso en el cerebro del robot. Es como si no le hubieran enseñado nuevos hechos al robot, sino simplemente le hubieran enseñado cómo pensar de manera más eficiente. El estudio sugiere que, para muchas tareas complejas, la respuesta ya estaba dentro del modelo; simplemente necesitábamos un mejor mapa para encontrarla.

Resumen Técnico: MACRO – Enrutamiento de Capas de Transformer mediante Cadenas de Markov

Planteamiento del Problema
Los Grandes Modelos de Lenguaje (LLMs) estándar ejecutan los bloques de transformadores de forma secuencial, desde la primera capa hasta la última, adhiriéndose a un esquema computacional rígido. Este enfoque estático ignora el potencial de las vías de computación dinámica que podrían mejorar la precisión del razonamiento en tareas complejas sin modificar los pesos subyacentes del modelo. Aunque trabajos previos han explorado la profundidad adaptativa principalmente para la aceleración de la inferencia (por ejemplo, salidas tempranas o eliminación estructurada de capas), reestructurar activamente la ruta de ejecución de un modelo congelado para mejorar el rendimiento sigue siendo una frontera desafiante. Los métodos de enrutamiento dinámico existentes enfrentan cuellos de botella significativos: algunos requieren una costosa búsqueda de árbol de Monte Carlo (MCTS) fuera de línea para la generación y el entrenamiento de datos (por ejemplo, Dr.LLM), otros demandan etiquetas de verdad fundamental (ground-truth) durante la inferencia, y otros dependen de bucles de búsqueda por cada muestra que son computacionalmente prohibitivos.

Metodología
Los autores proponen MACRO (Markov Chain Routing of Transformer Layers), un marco que aprende rutas de ejecución específicas para tareas sobre arquitecturas de LLM congeladas. MACRO modela el enrutamiento de capas como una política de Markov dependiente del contexto, $\pi_\theta(a_t | s_t)$ , que dicta la secuencia de aplicaciones de capas, saltos, repeticiones y adiciones de estados ocultos.

Espacio de Estados y Acciones: El estado $s_t$ es un resumen compacto que comprende el índice de la capa actual ( $\ell$ ), la fase restante del presupuesto de computación (temprana/media/tardía), el desplazamiento de la capa entrante ( $\delta$ ) y el contexto del operador (si el estado oculto actual fue producido por una capa simple o por una adición). El espacio de acciones incluye:
1. Movimiento de Capa Local: Aplicar una capa cercana $\ell + \Delta$ (permitiendo saltos, repeticiones o revisitas hacia atrás).
2. Sumar-y-Aplicar (Add-and-Apply): Sumar un estado oculto previo $h_{t-b}$ al estado actual $h_t$ (con un coeficiente $\gamma > 0$ ) antes de aplicar una capa local.
3. Reunirse (Rejoin): Terminar el prefijo aprendido y ejecutar el sufijo estándar restante del transformador.
  Las máscaras de viabilidad aseguran que todos los programas muestreados permanezcan dentro de los límites de las capas y las restricciones de presupuesto.
Procedimiento de Aprendizaje: MACRO emplea un enfoque de estimación de distribución. Partiendo de un prior con sesgo hacia adelante (donde la ruta secuencial estándar es la más probable), el marco muestrea iterativamente programas de enrutamiento candidatos, los evalúa en un subconjunto de datos de entrenamiento y actualiza la matriz de transición de Markov mediante máxima verosimilitud ponderada. Las rutas de alto rendimiento se ponderan exponencialmente para refinar la política. Un búfer de repetición (replay buffer) asegura una convergencia estable preservando la cobertura de ejemplos de iteraciones previas.
Decodificación y Selección: A diferencia de los métodos que dependen del muestreo estocástico o de la búsqueda por cada caso de prueba, MACRO utiliza un algoritmo de Viterbi top-k para decodificar de forma determinista los programas de enrutamiento de mayor probabilidad de la política aprendida. Las máscaras de viabilidad estructural se integran en la recursión de Viterbi. La ruta final se selecciona evaluando los candidatos top-k en un conjunto de validación mantenido aparte, eligiendo aquel con la mayor precisión.

Contribuciones Clave

Marco de Parámetros Eficientes: MACRO introduce una política de Markov ligera y dependiente del contexto para el enrutamiento de capas adaptativo en LLMs congelados y cuantizados, lo que no requiere actualizaciones en los pesos del modelo.
Esquema de Decodificación Exacto: El artículo presenta un esquema de decodificación Viterbi top-k exacto equipado con máscaras de viabilidad estructural. Esto elimina la necesidad de búsqueda por cada muestra en tiempo de prueba, el entrenamiento de redes neuronales auxiliares o de oráculos de verdad fundamental durante la inferencia.
Superioridad Empírica: El marco demuestra mejoras consistentes sobre las líneas base no enrutadas y los métodos de enrutamiento dinámico existentes a través de diversos entornos de evaluación de razonamiento y conocimiento.

Resultados
Evaluado en múltiples LLMs de pesos abiertos (incluyendo variantes de Qwen3, Mixtral y DeepSeek-R1-Distill) en bancos de pruebas como GSM8K, MATH500, MedQA y MMLU-Pro:

Ganancias de Precisión: MACRO logra una mejora de precisión promedio del +5.0% sobre las líneas base sin enrutamiento. Las ganancias son más pronunciadas en modelos más pequeños (por ejemplo, +12.68% en Qwen3-1.7B).
Comparación con SOTA: MACRO supera al método de enrutamiento dinámico líder, Dr.LLM, por un +7.2% en precisión promedio.
Eficiencia: El proceso de búsqueda de rutas es significativamente más eficiente, reduciendo el tiempo de búsqueda en 9.4× (de 14.8 horas a 1.6 horas por benchmark) en comparación con Dr.LLM.
Robustez: Pruebas de significancia estadística confirman que MACRO mejora el rendimiento en todos los modelos probados sin degradar ningún benchmark.
Perspectiva Mecanística: El análisis de la lente de logit (logit-lens) sugiere que el enrutamiento mejora el rendimiento no cambiando las capacidades de razonamiento interno del modelo, sino exponiendo mejor las respuestas que ya están representadas internamente, evitando su supresión cerca de la salida.

Significancia y Reivindicaciones
El artículo afirma que MACRO representa un paso significativo hacia la realización de la computación dinámica práctica para LLMs congelados. Al formalizar el enrutamiento como un proceso de Markov, los autores superan los costos computacionales y los requisitos de datos de los métodos anteriores (como el entrenamiento impulsado por MCTS). El trabajo argumenta que el enrutamiento sirve como un mecanismo para "elicitar" (extraer) de manera más efectiva las respuestas presentes internamente, en lugar de alterar fundamentalmente las representaciones aprendidas del modelo. Los autores postulan que este enfoque debería extenderse más para permitir un enrutamiento dinámico dependiente de la entrada, ofreciando una nueva dimensión de escalado flexible en tiempo de prueba para los LLMs. El método es particularmente notable por su capacidad para mejorar el rendimiento en modelos pequeños y su compatibilidad con modelos cuantizados, lo que sugiere una amplia aplicabilidad en entornos de recursos limitados.

Más como este