🤖 machine learning

Compute Aligned Training: Optimizing for Test Time Inference

Este artículo presenta "Entrenamiento Alineado con la Computación", un marco novedoso que alinea los objetivos de entrenamiento de los Modelos de Lenguaje Grandes con las estrategias de inferencia en tiempo de prueba mediante la derivación de nuevas funciones de pérdida, mejorando así significativamente la escalabilidad del rendimiento en comparación con los enfoques estándar de SFT y RL.

Autores originales: Adam Ousherovitch, Ambuj Tewari

Publicado 2026-04-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Adam Ousherovitch, Ambuj Tewari

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un estudiante para un tipo muy específico de examen final.

La Vieja Forma (Entrenamiento Estándar):
Tradicionalmente, cuando enseñamos a modelos de IA (como los que escriben ensayos o resuelven problemas matemáticos), actuamos como un profesor estricto que califica cada tarea individualmente. Si el estudiante responde correctamente una pregunta, decimos "¡Buen trabajo!" y si se equivoca, decimos "Inténtalo de nuevo". Queremos que el estudiante sea perfecto para obtener la primera respuesta correcta cada vez.

El problema es que esto no los prepara para el examen real. En el mundo real, no solo le pedimos al modelo una respuesta. Le pedimos que genere muchas respuestas diferentes (como pedirle a un estudiante que escriba 10 borradores diferentes de un ensayo) y luego elegimos la mejor, o votamos por la más común.

Si entrenas a un estudiante para ser perfecto en el primer borrador, podría volverse demasiado seguro y dejar de intentar explorar nuevas ideas. Podría quedarse atrapado en una forma de pensar "segura". Cuando le pidas que genere 10 borradores más tarde, podría simplemente escribir 10 versiones ligeramente diferentes de la misma respuesta "segura", y ninguna de ellas podría ser la solución brillante y creativa que necesitabas.

La Nueva Forma (Entrenamiento Alineado al Cómputo - CAT):
Los autores de este artículo proponen un nuevo método de entrenamiento llamado Entrenamiento Alineado al Cómputo (CAT). En lugar de calificar al estudiante en una sola tarea, lo califican en función de lo bien que le iría en el formato del examen real.

Así es como funciona, usando algunas analogías:

1. La Analogía del "Pass@N" (El Billete de Lotería)

Imagina que el examen te permite comprar N billetes de lotería (digamos 64 billetes) por una pregunta. Ganas si cualquiera de tus 64 billetes es el número ganador.

Entrenamiento Estándar: Si el estudiante ya tiene un 50% de posibilidades de ganar con un billete, el profesor sigue empujándolo para llegar al 90% o al 99%. Pero en una lotería de 64 billetes, una vez que tienes un 50% de posibilidades, comprar más billetes garantiza una victoria de todos modos. El profesor está desperdiciando energía tratando de hacer que un estudiante "bueno" sea "perfecto" en una pregunta fácil, mientras ignora las preguntas difíciles donde el estudiante tiene un 1% de posibilidades.
Entrenamiento CAT: El profesor se da cuenta: "Oye, es probable que este estudiante gane con 64 billetes. Voy a dejar de calificar tan duramente esta pregunta fácil". En su lugar, concentran toda su energía en las preguntas difíciles donde el estudiante está fallando actualmente. Le enseñan al estudiante a distribuir sus posibilidades, asegurando que al menos uno de los 64 billetes sea ganador, en lugar de intentar hacer que un billete específico sea perfecto.

2. La Analogía del "Voto Mayoritario" (La Elección)

Imagina que el examen le pide al modelo generar 10 respuestas, y la clase vota por la más popular.

Entrenamiento Estándar: El profesor intenta hacer que la primera respuesta del estudiante sea absolutamente la más popular, incluso si ya está ganando por un margen abrumador. Esto es como un candidato que ya está ganando el 90% de los votos; el profesor sigue diciéndole que haga campaña más duro, lo cual es una pérdida de tiempo.
Entrenamiento CAT: El profesor mira el "punto de inflexión". Si la respuesta del estudiante está perdiendo actualmente por un margen pequeño, el profesor le da un gran impulso para ayudarle a cruzar la meta. Si el estudiante ya está ganando cómodamente, el profesor deja de darle puntos extra. Esto obliga al modelo a concentrarse en las preguntas "de campo de batalla" donde un poco de esfuerzo extra puede cambiar el voto.

3. La Analogía del "Mejor de N" (El Concurso de Talentos)

Imagina que el modelo genera 10 canciones, y solo guardas la mejor.

Entrenamiento Estándar: El profesor intenta hacer que la canción promedio suene bien. Esto lleva a música segura, aburrida y "de la media", que nunca es mala, pero nunca es increíble tampoco.
Entrenamiento CAT: El profesor le dice al modelo: "Está bien que 9 de tus canciones sean terribles, siempre y cuando la décima sea una obra maestra". Esto anima al modelo a tomar riesgos y probar ideas extrañas y de alta varianza. Aprende a producir una amplia variedad de salidas, sabiendo que el proceso de "búsqueda" (elegir la mejor) filtrará los fracasos y conservará al ganador.

¿Qué Hicieron Realmente?

Los investigadores probaron esta idea de tres maneras específicas:

Problemas Matemáticos: Entrenaron modelos de IA para resolver problemas matemáticos. Cuando usaron CAT para preparar a los modelos para "Pass@N" (generar muchas respuestas y elegir la correcta), los modelos mejoraron significativamente en la resolución de problemas difíciles en comparación con el método estándar.
Votación: Entrenaron modelos para generar respuestas para una "Votación Mayoritaria". Nuevamente, los modelos CAT rindieron mejor cuando se aplicó la estrategia de votación.
Diseño de Proteínas: Incluso probaron esto en un tipo completamente diferente de IA que diseña proteínas (los bloques de construcción de la vida). En un escenario donde la IA tenía que encontrar una estructura de proteína rara y de alta calidad entre muchas malas, los modelos entrenados con CAT fueron mucho mejores encontrando la proteína "premio gordo" que los modelos estándar.

La Conclusión

El artículo argumenta que cómo entrenas un modelo debe coincidir con cómo lo usas.

Si planeas usar el modelo para generar muchas opciones y elegir la mejor, no deberías entrenarlo para ser perfecto en el primer intento. Deberías entrenarlo para ser bueno en crear un conjunto de opciones donde es probable que se encuentre la mejor.

Llaman a esto "Entrenamiento Alineado al Cómputo" porque alinea el proceso de entrenamiento con el "cómputo" (el poder de pensamiento adicional) utilizado en el momento del examen. Es una forma de obtener mejores resultados sin necesidad de computadoras más potentes ni más tiempo de entrenamiento; solo cambias las reglas del juego para coincidir con la realidad de cómo se usará el modelo.

Aquí se presenta un resumen técnico detallado del artículo "Entrenamiento Alineado al Cómputo: Optimización para la Inferencia en Tiempo de Prueba" de Ousherovitch y Tewari.

1. Declaración del Problema: La Desalineación entre Entrenamiento e Inferencia

El artículo aborda una desconexión fundamental en el desarrollo moderno de Modelos de Lenguaje Grandes (LLM): los objetivos de entrenamiento están optimizados para el rendimiento de una sola muestra, mientras que el despliegue depende cada vez más de estrategias de cómputo en tiempo de prueba (búsqueda).

El Estado Actual: Los métodos estándar de post-entrenamiento, como el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL), optimizan la probabilidad de una única salida correcta (por ejemplo, minimizando la Entropía Cruzada o maximizando la recompensa esperada de una sola muestra).
El Conflicto: Las estrategias modernas de inferencia (por ejemplo, Pass@N, Votación Mayoritaria, Mejor de N) generan múltiples soluciones candidatas y las agregan para encontrar la mejor respuesta.
- Ejemplo (Pass@N): Si un modelo tiene un 50% de probabilidad de ser correcto, aumentarlo al 90% produce rendimientos decrecientes para una métrica Pass@100 (donde el éxito ya es casi seguro). Sin embargo, el entrenamiento estándar sigue impulsando una probabilidad del 100%, desperdiciando capacidad en muestras "fáciles".
- Ejemplo (Votación Mayoritaria): Un modelo solo necesita una pluralidad (por ejemplo, una probabilidad del 35%) para vencer a sus rivales. El entrenamiento estándar empuja hacia $p \to 1.0$ , fomentando victorias "abrumadoras" en lugar de un consenso robusto, lo que puede degradar el rendimiento cuando el modelo se ve obligado a actuar como un conjunto.
Consecuencia: Esta desalineación causa colapso de la política (reducción de la diversidad) y evita que los modelos utilicen eficazmente los presupuestos aumentados de cómputo en tiempo de prueba.

2. Metodología: Entrenamiento Alineado al Cómputo (CAT)

Los autores proponen el Entrenamiento Alineado al Cómputo (CAT), un marco que alinea los objetivos de entrenamiento con la estrategia de inferencia específica utilizada en tiempo de prueba.

Conceptualización Central

Los autores conceptualizan las estrategias de inferencia no como heurísticas a posteriori, sino como operadores diferenciables ( $T$ ) que transforman la política base $\pi_\theta$ en una distribución efectiva en tiempo de prueba $\tilde{\pi}_\theta$ :
$\tilde{\pi}_\theta(y|x) = T(\pi_\theta(\cdot|x), \phi)$
donde $\phi$ representa hiperparámetros (por ejemplo, presupuesto de muestras $N$ ).

La Función de Pérdida Unificada

En lugar de minimizar el log-verosimilitud negativo de la verdad fundamental bajo la política base ( $\pi_\theta$ ), CAT minimiza la pérdida bajo la política efectiva a nivel de sistema ( $\tilde{\pi}_\theta$ ):
$L_{CAT}(\theta) = -\mathbb{E}_{(x, y^*)} [\log \tilde{\pi}_\theta(y^*|x)]$

Mecanismo de Escalamiento de Gradientes

Para hacer esto computacionalmente viable sin muestrear todo el espacio de salida, los autores derivan una aproximación diagonal de gradientes. Demuestran que el gradiente del objetivo CAT puede aproximarse escalando el gradiente estándar por un factor de peso $w(p, \phi)$ :
$\nabla_\theta L_{CAT} \approx w(p, \phi) \cdot \nabla_\theta L_{CE}$
Aquí, $p$ es la probabilidad base de la respuesta correcta, y $w$ representa la utilidad marginal de aumentar $p$ con respecto a la estrategia en tiempo de prueba.

Factores de Escalamiento Clave Derivados:

Pass@N (SFT y RL):
- $w(p, N) = \frac{N p (1-p)^{N-1}}{1 - (1-p)^N}$
- Comportamiento: Suprime los gradientes para muestras fáciles (alta $p$ ) donde el éxito ya está garantizado, enfocando el aprendizaje en muestras "duras" donde las ganancias marginales mejoran la cobertura.
Votación Mayoritaria (SFT y RL):
- $w(p, N, k) \approx \frac{k \binom{N}{k} p^k (1-p)^{N-k}}{\sum_{i=k}^N \binom{N}{i} p^i (1-p)^{N-i}}$
- Comportamiento: Concentra la masa del gradiente cerca del umbral de consenso ( $p \approx k/N$ ). Ignora las muestras que ya están ganando o perdiendo irremediablemente, enfocándose solo en el "punto de inflexión".
Mejor de N (RL):
- $w \propto N (P_{<y})^{N-1}$
- Comportamiento: Crea dinámicas de "el ganador se lleva todo". Los gradientes refuerzan solo las muestras de mayor recompensa en un lote, alentando al modelo a explorar las colas de alta varianza y alta recompensa de la distribución en lugar de colapsar hacia una media segura.

Garantías Teóricas

El artículo demuestra que para Estrategias Competitivas (donde aumentar la probabilidad de un rival perjudica el éxito), la aproximación diagonal es una subestimación conservadora del gradiente real. Esto asegura que el optimizador nunca dé un paso en la dirección incorrecta, actuando como un estabilizador natural contra el colapso de la política.

3. Contribuciones Clave

Marco Unificado de Operadores: Formaliza las estrategias en tiempo de prueba como operadores diferenciables, derivando un mecanismo general para alinear el entrenamiento con estrategias de inferencia arbitrarias (SFT y RL).
Extensión más allá de Pass@N: Generaliza trabajos anteriores (por ejemplo, Optimización Directa de Cobertura) a Votación Mayoritaria y Mejor de N, cubriendo tanto los paradigmas SFT como RL.
Agnosticismo de Modalidad: Demuestra la aplicabilidad del marco más allá de los LLM hacia Modelos de Lenguaje de Proteínas (PLM), mostrando un rendimiento mejorado en paisajes de recompensa complejos y multimodales.
Análisis de Varianza: Proporciona un análisis teórico y empírico de la inflación de la varianza de los gradientes, proponiendo técnicas de normalización (por ejemplo, estimadores ponderados por logaritmos) para estabilizar el entrenamiento.

4. Resultados Experimentales

Los autores evaluaron CAT en el benchmark MATH (usando Mistral-7B) y en Generación de Proteínas (usando ProtGPT2).

A. Modelos de Lenguaje (Benchmark MATH)

Pass@N (SFT): Los modelos entrenados con CAT para $N=64$ sacrificaron la precisión de una sola muestra (Pass@1 disminuyó en ~2.3%), pero lograron una mejora absoluta del 7.8% en la cobertura Pass@64 en comparación con el SFT estándar.
Votación Mayoritaria (SFT): Los modelos CAT superaron consistentemente a las líneas base en todos los presupuestos de inferencia. Se observó un "punto óptimo" en $N=16$ , donde el modelo equilibró óptimamente el sesgo y la varianza.
Aprendizaje por Refuerzo (GRPO): El RL estándar sufrió de colapso de la política, saturándose rápidamente (Pass@32 $\approx$ 35.8%). Los modelos entrenados con CAT preservaron la varianza necesaria para la búsqueda, logrando 40.0% en Pass@32.
Efecto de Calentamiento: Utilizar CAT durante la fase de calentamiento SFT mejoró significativamente el rendimiento posterior del RL, incluso aumentando la precisión de un solo disparo (Pass@1) al enriquecer las rutas de razonamiento del modelo.

B. Generación de Proteínas (Modelos de Lenguaje de Proteínas)

Incondicional (Valle de la Muerte): En un paisaje de recompensa multimodal (óptimo local en $h \approx 0.35$ , óptimo global en $h \approx 0.75$ , separados por un "valle" de agregación), el RL estándar se quedó atrapado en el óptimo local. Best-of-N CAT logró "saltar" el valle con éxito, encontrando el máximo global al mantener una alta varianza distribucional.
Generación Condicional: Los modelos CAT aprendieron a generar secuencias con hidrofobicidad inversa a las entradas, demostrando una escalabilidad superior y una mejor alineación con la tarea relacional en comparación con el RL estándar.

5. Significado e Implicaciones

Cambio de Paradigma: El artículo argumenta que los objetivos de entrenamiento deben diseñarse teniendo en mente el procedimiento de inferencia aguas abajo. A medida que el cómputo en tiempo de prueba se convierte en la palanca principal para escalar la capacidad del modelo, el entrenamiento debe optimizar el resultado agregado, no la muestra individual.
Eficiencia: CAT logra estas ganancias sin aumentar los costos de cómputo de entrenamiento. Simplemente re-pesa los gradientes existentes basándose en la utilidad marginal de la muestra para la estrategia en tiempo de prueba.
Estabilidad vs. Exploración: El marco proporciona una forma principada de intercambiar la precisión de una sola muestra por la diversidad distribucional, permitiendo que los modelos utilicen eficazmente procedimientos de búsqueda como Best-of-N y Votación Mayoritaria sin colapsar en comportamientos de búsqueda de modos.
Generalizabilidad: Al demostrar la eficacia tanto en LLM como en Modelos de Lenguaje de Proteínas, el artículo sugiere que el "Entrenamiento Alineado al Cómputo" es un principio universal para cualquier modelo generativo que utilice búsqueda en tiempo de prueba.

En conclusión, el Entrenamiento Alineado al Cómputo cierra la brecha entre el aprendizaje y la búsqueda, asegurando que los modelos no solo sean "inteligentes" generando una respuesta, sino que estén optimizados para ser "inteligentes" al encontrar la mejor respuesta cuando se les otorga el presupuesto computacional para buscar.