💬 NLP

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

Este artículo demuestra que el rendimiento de los objetivos de entrenamiento en el ajuste fino supervisado de modelos de lenguaje depende críticamente de su nivel de capacidad, revelando que las funciones de pérdida basadas en probabilidades que penalizan menos los tokens de baja probabilidad superan al log-verosimilitud negativo en modelos avanzados, mientras que este último sigue siendo superior en modelos menos capaces.

Autores originales: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Publicado 2026-03-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que entrenar a una Inteligencia Artificial (IA) avanzada es como enseñar a un estudiante muy inteligente, pero con un historial escolar muy largo y variado.

Aquí tienes la explicación de este paper, "Más allá de la Verosimilitud Logarítmica", usando un lenguaje sencillo y analogías creativas.

🎓 El Problema: El "Método de Estudio" Rígido

Hasta ahora, cuando queríamos enseñar algo nuevo a una IA (como matemáticas o medicina), usábamos un método de entrenamiento estándar llamado NLL (Negativa Log-Verosimilitud).

La analogía:
Imagina que tienes un estudiante que ya sabe mucho de historia porque leyó miles de libros en el pasado (esto es el modelo pre-entrenado). Ahora, le das un examen de historia con un libro de respuestas.

El método antiguo (NLL): El profesor le grita al estudiante: "¡Si te equivocas en una sola palabra, aunque sea una coma, tienes que corregirla inmediatamente! ¡Si te equivocas en una palabra que tenías poca probabilidad de acertar, castígate el doble!".
El problema: Si el estudiante ya sabe el tema, pero el libro de respuestas tiene un error de imprenta o una explicación confusa (ruido), el método antiguo hace que el estudiante se obsesione con corregir esos errores pequeños y pierda la confianza en lo que ya sabía bien. Se vuelve rígido y deja de generalizar.

🔍 El Descubrimiento: No existe una "Receta Única"

Los autores de este estudio se preguntaron: "¿Y si cambiamos la forma en que el profesor corrige al estudiante?". Probaron diferentes "fórmulas de corrección" (objetivos de entrenamiento) y descubrieron algo fascinante: No hay un método perfecto para todos los casos. Todo depende de cuánto sabe el estudiante antes de empezar.

Han creado un "Continuo de Capacidad del Modelo", que es como una línea de tiempo o un termómetro:

1. El Extremo "Modelo Fuerte" (El Genio con Base Sólida) 🧠💪

Situación: El estudiante ya es un experto en el tema (ej. Matemáticas). Ya ha leído miles de problemas similares en su entrenamiento previo. Sabe la respuesta con casi total seguridad.
El problema del método antiguo: Se obsesiona con las pocas palabras que no acertó, incluso si esas palabras eran muy improbables y probablemente errores del libro de respuestas.
La solución (Objetivo "Prior-Leaning"): Cambiamos la regla. Le decimos al profesor: "Ignora las palabras que el estudiante casi no acertó. Solo corrige las palabras que él ya sabía que eran correctas, pero afina la precisión".
Resultado: ¡El estudiante mejora mucho más! Al no perder tiempo corrigiendo "ruido" o errores del libro, se vuelve más inteligente y preciso.
Analogía: Es como un chef experto que ya sabe cocinar un plato perfecto. No necesitas que le griten si le falta una pizca de sal en un ingrediente que casi no usó; solo necesitas que ajuste el plato principal.

2. El Extremo "Modelo Débil" (El Principiante) 🐣📚

Situación: El estudiante es nuevo en el tema (ej. Un rompecabezas de letras raras que nunca ha visto). No tiene idea de qué responder.
El problema del nuevo método: Si ignoramos las palabras que el estudiante no sabe (porque son improbables), nunca aprenderá nada.
La solución (Método Antiguo / NLL): Aquí, el método antiguo es el mejor. Necesitamos que el profesor sea estricto: "¡Corrige cada error! ¡Aprende de todo!". Necesitamos que el estudiante preste atención a todas las palabras, incluso las que parecen imposibles, para construir conocimiento desde cero.
Analogía: Es como enseñar a un niño a andar en bicicleta. Si ignoras los errores porque "parecen improbables que se caiga", el niño nunca aprenderá a mantener el equilibrio. Necesitas corregir cada tropiezo.

3. El Medio (El Estudiante Intermedio) 🤷‍♂️

Situación: El estudiante sabe algo, pero no todo (ej. Medicina general).
Resultado: Aquí, no importa mucho qué método uses. Ambos funcionan más o menos igual. Es una zona gris donde no hay una ventaja clara.

📊 La Gran Conclusión

El paper nos dice que dejar de usar el mismo "método de corrección" para todo es un error.

Si tu IA ya es muy buena en algo (tiene "priors" fuertes), usa un método que confíe en su intuición y ignore los errores pequeños y raros.
Si tu IA es nueva en algo, usa el método clásico que la obligue a aprender de todos los errores.

🚀 ¿Por qué es importante esto?

Antes, los investigadores pensaban que el método estándar (NLL) era el "rey" y siempre era el mejor. Este estudio demuestra que es como usar un martillo para todo: sirve para clavar clavos (modelos débiles), pero es terrible para colgar un cuadro delicado (modelos fuertes).

Al adaptar la "fórmula de corrección" a la capacidad actual de la IA, podemos hacer que los modelos sean más inteligentes, más rápidos y menos propensos a alucinar (inventar cosas) en tareas complejas como matemáticas o razonamiento.

En resumen: No trates a un genio como a un principiante. Dale al experto la libertad de confiar en lo que sabe, y al novato la disciplina de aprender de todo. ¡Así es como se entrena a la IA del futuro!

Resumen Técnico: Más allá de la Verosimilitud Logarítmica

1. El Problema

El Fine-Tuning Supervisado (SFT) es el estándar para el post-entrenamiento de Modelos de Lenguaje Grandes (LLMs). Sin embargo, a menudo muestra una capacidad de generalización limitada. La comunidad atribuye esto tradicionalmente a la calidad de los datos o la arquitectura, pero este trabajo identifica que la causa raíz es el objetivo de entrenamiento predeterminado: la Verosimilitud Logarítmica Negativa (NLL) o Negative Log Likelihood ( $-\log p$ ).

Aunque la NLL es óptima teóricamente cuando se entrena un modelo desde cero en tareas de clasificación pequeñas, el post-entrenamiento de LLMs opera bajo un paradigma diferente:

Los modelos ya poseen priors (conocimiento previo) relevantes para la tarea incrustados en sus pesos.
La supervisión suele ser larga (cadenas de pensamiento) y puede ser ruidosa.
Forzar al modelo a replicar token por token (incluyendo los de baja probabilidad) puede obstaculizar la generalización en lugar de mejorarla.

El artículo cuestiona si la NLL sigue siendo la mejor opción cuando el modelo ya tiene conocimientos previos y la supervisión es imperfecta.

2. Metodología

Los autores proponen un marco unificado basado en objetivos probabilísticos y la introducción de un nuevo concepto: el Continuo de Capacidad del Modelo.

Familia de Objetivos Parametrizados:
En lugar de buscar una única función de pérdida universal, generalizan la NLL en una familia de funciones diferenciables y no crecientes $f_\alpha(p) = \frac{1 - p^\alpha}{\alpha}$ .
- Cuando $\alpha \to 0$ , se recupera la NLL ( $-\log p$ ).
- Cuando $\alpha = 1$ , se obtiene el objetivo $1-p$ (equivalente a $-p$ en minimización), que maximiza la precisión esperada.
- Valores de $\alpha > 1$ (como $\alpha=10$ ) generan objetivos cóncavos.
Clasificación de Objetivos:
Analizan la forma del gradiente respecto a los logits correctos ( $W_f(p)$ ) para clasificar los objetivos en dos categorías:
1. Objetivos "Propensos al Prior" (Prior-leaning): Concavos (ej. $-p$ , $-p^{10}$ ). Dan menos peso a los tokens de baja probabilidad y refuerzan las predicciones en las que el modelo ya tiene confianza. Son ideales cuando el prior del modelo es fuerte.
2. Objetivos "Aversos al Prior" (Prior-averse): Convexos (ej. NLL, $-\log p$ ). Dan más peso a los tokens de baja probabilidad, forzando al modelo a aprender de sus errores y correcciones drásticas. Son necesarios cuando el prior es débil o inexistente.
El Continuo de Capacidad del Modelo:
Los autores categorizan las tareas según la fuerza de los priores del modelo base en esa dominio:
- Extremo Fuerte (Model-Strong): El modelo ya tiene un conocimiento extenso (ej. matemáticas en modelos como LLaMA-3 o DeepSeekMath). Los priores son fiables.
- Extremo Débil (Model-Weak): El modelo no tiene conocimiento previo (ej. rompecabezas de fuentes desconocidas o idiomas de bajos recursos). Los priores son inexactos o nulos.
- Intermedio: El modelo tiene conocimiento parcial (ej. razonamiento médico).

3. Contribuciones Clave

Descubrimiento del Continuo: Demostraron que no existe una función de pérdida "óptima universal". La efectividad de un objetivo depende críticamente de la capacidad del modelo base en el dominio específico.
Inversión de Rendimiento:
- En el extremo fuerte, los objetivos prior-leaning (como $-p$ ) superan consistentemente a la NLL (hasta un 16% en algunos benchmarks matemáticos).
- En el extremo débil, la NLL domina, ya que los objetivos prior-leaning refuerzan errores al confiar ciegamente en priores incorrectos.
Análisis Teórico: Proporcionan una justificación teórica basada en el flujo de gradiente, demostrando que la reducción de riesgo es mayor para objetivos prior-leaning en modelos fuertes y mayor para la NLL en modelos débiles.
Validación Empírica Masiva: Experimentos exhaustivos en 8 modelos base, 27 benchmarks y 7 dominios (matemáticas, medicina, puzzles, codificación, idiomas de bajos recursos).

4. Resultados Principales

Dominios Matemáticos (Modelo Fuerte):
- Al usar datos como NuminaMath, el objetivo $-p$ (y variantes umbralizadas que ignoran tokens con $p < 0.2$ ) superó consistentemente a la NLL.
- La NLL sufre porque intenta aprender de tokens de baja probabilidad que actúan como ruido en un modelo que ya sabe la respuesta.
Dominios Médicos (Modelo Intermedio):
- La diferencia entre $-p$ y $-\log p$ fue mínima o estadísticamente insignificante. En esta zona, ninguna estrategia domina claramente, sugiriendo que las mejoras deben venir de mejores datos o supervisión, no solo del cambio de pérdida.
Puzzles y Idiomas de Bajos Recursos (Modelo Débil):
- En tareas donde el modelo no tiene conocimiento previo (ej. figfont puzzles o idiomas como Zulu o Yoruba), la NLL fue superior. Los objetivos prior-leaning fallaron estrepitosamente al reforzar predicciones erróneas basadas en priores inexistentes.
Ajuste de Instrucciones General:
- Al escalar modelos (de 3B a 14B parámetros) en tareas de alineación general, se observó una transición clara: los modelos pequeños (débiles) se benefician de la NLL, mientras que los modelos grandes (fuertes) se benefician de objetivos prior-leaning.

5. Significado e Impacto

Este trabajo cambia fundamentalmente la perspectiva sobre el fine-tuning de LLMs:

Fin del "One-Size-Fits-All": Desmiente la idea de que la NLL es siempre la mejor opción. La elección de la función de pérdida debe adaptarse a la fortaleza del conocimiento previo del modelo en la tarea específica.
Conexión con RL: Sugiere que muchas técnicas de Aprendizaje por Refuerzo (RL) que funcionan bien en razonamiento (como RLHF) funcionan porque, implícitamente, actúan como objetivos prior-leaning al favorecer trayectorias de alta probabilidad. El SFT puede lograr resultados similares de manera más simple ajustando la función de pérdida.
Guía Práctica: Ofrece una hoja de ruta para ingenieros:
- Si el modelo ya es experto en el dominio $\rightarrow$ Usar objetivos prior-leaning ( $-p$ , umbralización).
- Si el modelo es nuevo en el dominio o los datos son muy ruidosos $\rightarrow$ Usar NLL estándar.
- Si es un caso intermedio $\rightarrow$ La elección es menos crítica, pero se debe priorizar la calidad de los datos.

En conclusión, el artículo establece que la interacción entre la forma del objetivo y la capacidad del modelo es el factor determinante para la generalización, proporcionando una base teórica y empírica para adaptar el entrenamiento de LLMs a sus capacidades específicas.