💬 NLP

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

Este artículo presenta MMPO, un método de optimización de preferencias fuera de línea estable y simplificado que alinea los Grandes Modelos de Lenguaje con las preferencias humanas mediante la maximización del log-verosimilitud marginal, eliminando así la necesidad de modelos de recompensa explícitos y superando a los modelos de referencia en calidad de alineación y preservación de la capacidad general.

Autores originales: Saeed Najafi, Alona Fyshe

Publicado 2026-01-27

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Saeed Najafi, Alona Fyshe

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Enseñarle a un robot a ser "educado"

Imagina que tienes un robot muy inteligente (un Modelo de Lenguaje Extenso) que ha leído casi todo lo que hay en internet. Puede escribir historias, resolver problemas matemáticos y responder preguntas. Sin embargo, es un poco como un adolescente brillante pero caótico: sabe cómo hablar, pero no siempre sabe qué es lo que los humanos realmente quieren escuchar. A veces es grosero, a veces es confuso y, a veces, simplemente se inventa las cosas.

Para solucionar esto, necesitamos "alinear" al robot con las preferencias humanas. La forma estándar actual de hacer esto se llama RLHF (Aprendizaje por Refuerzo a partir de la Retroalimentación Humana). Piensa en esto como contratar a un entrenador estricto que observa al robot, le da puntos por las buenas respuestas y le quita puntos por las malas. Pero este proceso es desordenado, costoso y el robot a menudo se confunde con las reglas inconsistentes del entrenador.

Recientemente, se inventó un método más simple llamado DPO. Es como saltarse al entrenador y simplemente mostrarle al robot dos respuestas (una buena y una mala) y decirle: "Elige la buena". Esto funciona mejor, pero todavía tiene algunas peculiaridades y puede ser inestable si ajustas demasiado la configuración.

Este artículo presenta un nuevo método llamado MMPO. Los autores dicen: "Intentemos un ángulo completamente diferente". En lugar de intentar enseñar al robot a elegir al ganador, tratan el problema como una estimación de verosimilitud marginal.

La idea central: El juego de la "mejor suposición"

Para entender MMPO, imagina que estás tratando de adivinar el final de una historia de misterio. Conoces el principio (el prompt) y tienes dos posibles finales:

El buen final: El que los humanos prefieren.
El mal final: El que los humanos no les gusta.

La forma antigua (DPO/RLHF):
Los métodos antiguos son como un juego de "caliente o frío". Calculan una puntuación para el Buen Final, una puntuación para el Mal Final, y luego intentan empujar el Buen Final hacia arriba y el Mal Final hacia abajo. Es un poco como intentar equilibrar un subibaja; si empujas demasiado fuerte de un lado, todo se vuelca (inestabilidad).

La nueva forma (MMPO):
Los autores proponen un enfoque diferente basado en la Máxima Verosimilitud Marginal (MML).

Imagina que eres un detective tratando de averiguar qué tan probable es que un "Buen Final" específico fuera el final real de la historia, dado que solo tienes unas pocas pistas (los dos finales que estás observando).

En lugar de comparar los dos finales directamente entre sí, MMPO pregunta: "Si miramos todas las formas posibles en que esta historia podría terminar, ¿qué tan probable es que el 'Buen Final' sea el que realmente sucedió?"

Para hacer esto, las matemáticas analizan tanto el Buen Final como el Mal Final como "muestras" (pistas) para estimar esa probabilidad.

No necesita un "Entrenador" separado (Modelo de Recompensa) que le diga qué es bueno.
No necesita forzar al robot a ser "creativo" (Maximización de Entropía) solo por el hecho de serlo.

El truco de magia: Cómo funciona sin un entrenador

El artículo afirma que, al usar esta matemática de la "mejor suposición", el robot aprende implícitamente a preferir la buena respuesta sin que se le diga explícitamente que lo haga.

Aquí está la analogía:
Imagina que estás enseñando a un perro a sentarse.

RLHF: Tienes un entrenador con un clicker y premios. Haces "click" cuando el perro se sienta, y no lo haces cuando no lo hace.
DPO: Le muestras al perro una foto de él sentado y una foto de él de pie, y le dices: "Me gusta más la foto de estar sentado".
MMPO: Simplemente miras la foto de "sentado" y calculas la probabilidad de que este sea el comportamiento correcto basándote en la evidencia que tienes.

El artículo demuestra matemáticamente que, cuando realizas este cálculo, las matemáticas naturalmente empujan al robot a elegir el "Buen Final" con más frecuencia. Es como si la matemática misma actuara como el sistema de recompensa. El robot aprende a aumentar la probabilidad de la buena respuesta y a bajar ligeramente la mala, todo en un solo movimiento fluido.

¿Por qué es mejor? (Los resultados)

Los autores probaron esto en robots de diferentes tamaños (desde robots "de juguete" pequeños hasta otros más grandes y "cerebrales"). Esto fue lo que encontraron:

Es más estable:
Piensa en sintonizar una radio. Con los métodos antiguos (DPO), si giras el dial (un ajuste llamado $\beta$ ) apenas un poquito, la música podría convertirse en estática o cortarse por completo. Con MMPO, la radio se mantiene clara sin importar cuánto gires el dial. Es mucho más difícil "romper" el entrenamiento.
Mantiene la inteligencia del robot:
A veces, cuando le enseñas a un robot a ser educado, olvida cómo hacer matemáticas o contar chistes. Se convierte en un "hombre de acuerdo" que es seguro pero aburrido.
El artículo muestra que MMPO es mejor manteniendo las capacidades inteligentes originales del robot. Aprende a ser educado sin olvidar cómo ser un asistente de propósito general.
Gana más a menudo:
Cuando enfrentaron su nuevo método contra los antiguos en una competencia (AlpacaEval), MMPO ganó consistentemente o empató en el primer lugar, especialmente en los modelos más pequeños y eficientes.

Los ingredientes de la "receta secreta"

El artículo también realizó experimentos para ver qué partes de su receta eran esenciales. Encontraron dos ingredientes clave que hicieron que la magia funcionara:

Normalización por Lote (In-Batch Normalization): Esto es como asegurarse de que todos en un salón de clases sean calificados con la misma escala. Si un estudiante obtiene un A+ y otro una F, el profesor ajusta las puntuaciones para que la comparación sea justa. Esto evita que un ejemplo extraño arruine toda la lección.
Sin "Entropía Extra": Encontraron que intentar forzar al robot a ser "diverso" (maximización de entropía) en realidad lo hacía peor. Dejaron que las matemáticas hicieran el trabajo de forma natural.

Resumen

En resumen, este artículo dice: "Deja de intentar construir un sistema de recompensa complejo para enseñar a los robots lo que les gusta a los humanos. En su lugar, usa un truco estadístico simple que trata las preferencias humanas como pistas. Este truco enseña naturalmente al robot a ser servicial, lo mantiene estable y asegura que no olvide cómo ser inteligente."

Llaman a este nuevo método MMPO (Optimización de Preferencias de Máxima Verosimilitud Marginal), y creen que es una forma más simple y confiable de alinear la IA con los valores humanos.

Resumen Técnico: Optimización de Preferencias Offline mediante la Estimación de Máxima Verosimilitud Marginal

Planteamiento del Problema

Alinear los Grandes Modelos de Lenguaje (LLMs) con las preferencias humanas es un paso crítico para su despliegue en el mundo real, logrado tradicionalmente mediante el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF). Sin embargo, el flujo de trabajo estándar de RLHF es complejo e inestable, ya que requiere el entrenamiento de un modelo de recompensa separado y el uso de algoritmos de gradiente de política sensibles como la Optimización de Política Próxima (PPO). Aunque la Optimización de Preferencias Directa (DPO) simplificó esto al reformular la alineación como un problema de clasificación, su función de pérdida aún se deriva del objetivo de RLHF, lo que implica fomentar la optimización de la entropía del modelo de lenguaje. Los autores investigan si se puede lograr una alineación efectiva bajo supuestos aún más relajados, específicamente eliminando la necesidad explícita tanto de una función de recompensa como del término de maximización de la entropía inherente a los objetivos estándar de RLHF.

Metodología: MMPO

El artículo propone la Optimización de Preferencias por Máxima Verosimilitud Marginal (MMPO), un nuevo algoritmo de alineación de preferencias offline.

Fundamento Teórico

MMPO reformula el problema de alineación a través de la lente de la estimación de Máxima Verosimilitud Marginal (MML). En lugar de optimizar directamente para las preferencias, el método maximiza la log-verosimilitud marginal de una salida de texto preferida $y$ dado un texto de entrada $x$ .

Formulación: El objetivo es maximizar $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$ , donde $z$ representa las posibles finalizaciones de texto y $P^*$ es la distribución subyacente real.
Aproximación: Dado que la sumatoria sobre todos los posibles $z$ es intratable, el método aproxima la marginalización utilizando el par de preferencias proporcionado $(z_w, z_l)$ (respuestas elegidas y rechazadas) como muestras.
Estabilidad: Para asegurar la estabilidad numérica durante el entrenamiento, el objetivo se reformula utilizando la operación log-sum-exp.

Conexión Teórica con la Optimización de Preferencias

Los autores demuestran (Teorema 3.2) que la optimización del objetivo MML aproximado en un conjunto de datos de preferencias realiza implícitamente una optimización de preferencias.

Gradiente Implícito: Se muestra que la actualización del gradiente resultante es equivalente a una suma ponderada de los gradientes para las respuestas elegidas ( $z_w$ ) y rechazadas ( $z_l$ ).
Mecanismo de Ponderación: La actualización aumenta naturalmente el peso de la respuesta elegida respecto a la rechazada, modulada por una función sigmoide de la diferencia de sus puntuaciones ( $\sigma(s_w - s_l)$ ).
Distinción Clave: Este proceso logra la alineación de preferencias sin formular explícitamente una función de recompensa o un término de maximización de la entropía.

Implementación del Algoritmo

La función de pérdida de MMPO incorpora varias elecciones de diseño específicas:

Definición de Puntuación: Las puntuaciones $s_w$ y $s_l$ se definen basándose en log-probabilidades y un término de recompensa (aproximado mediante las log-probabilidades del modelo de referencia y un hiperparámetro $\beta$ ).
Normalización por Lote (In-Batch Normalization): Para estabilizar el entrenamiento y evitar que los valores atípicos dominen los gradientes, las recompensas se normalizan dentro de un mini-lote. Esto asegura que las puntuaciones relativas estén en una escala consistente.
Objetivo Auxiliar: Se añade un término auxiliar, $\log \sigma(s_w - s_l)$ , para reforzar explícitamente la restricción de preferencia ( $s_w \ge s_l$ ), proporcionando una señal de supervisión directa similar a DPO pero operando sobre puntuaciones normalizadas en lugar de razones de log-probabilidad respecto a un modelo SFT.

Contribuciones Clave

Introducción del Algoritmo: La propuesta de MMPO, un nuevo algoritmo de optimación de preferencias offline que trata los pares de preferencias como muestras para la estimación MML.
Análisis Teórico: Una prueba que muestra que MMPO en pares de preferencias es equivalente a una actualización de gradiente ponderada que favorece intrínsecamente las respuestas preferidas sin necesidad de un modelo de recompensa explícito o términos de entropía.
Estabilidad Empírica: Demostración de que MMPO es significativamente más estable con respecto al hiperparámetro clave $\beta$ en comparación con DPO y SimPO.
Preservación de Capacidades: Evidencia de que MMPO preserva mejor las capacidades de lenguaje generales (razonamiento y comprensión) de los modelos base ajustados por instrucciones en comparación con las líneas base existentes.
Rendimiento en Benchmarks: Logro de tasas de victoria competitivas o superiores en el benchmark AlpacaEval-2 en modelos que van desde 135M hasta 8B de parámetros.

Resultados Experimentales

Los autores evaluaron MMPO en cuatro tamaños de modelo (SmolLM2-135M, SmolLM2-360M, Llama3.2-1B y Llama3-8B) utilizando los conjuntos de datos Orca DPO Pairs y UltraFeedback-Binarized.

Estabilidad: A diferencia de DPO y SimPO, que mostraron una sensibilidad significativa al hiperparámetro $\beta$ , MMPO mantuvo un rendimiento consistente a través de una variedad de valores de $\beta$ (0.01, 0.05, 0.5).
Alineación de Preferencias: MMPO logró fuertes tasas de victoria en AlpacaEval-2. Por ejemplo, en SmolLM2-135M, MMPO mejoró las tasas de victoria de forma monótona hasta el 67.3%, mientras que DPO arrojó tasas de victoria muy bajas y SimPO se degradó significativamente durante las épocas de entrenamiento.
Retención de Capacidad General: Evaluado en el benchmark LM Harness (10 tareas diversas de comprensión de lenguaje), MMPO causó una degradación mínima en las capacidades generales de lenguaje. En contraste, DPO y SimPO a menudo mostraron caídas más significativas en la precisión, particularmente cuando se ajustaban para una alta alineación de preferencias.
Optimidad de Pareto: MMPO demostró un perfil de compromiso más favorable, entregando mayores tasas de victoria de preferencia con un sacrificio mínimo de las capacidades de razonamiento general en comparación con las líneas base.

Estudios de Ablación

Experimentos en el modelo SmolLM2-360M revelaron:

Normalización de Longitud: Mejoró la precisión general pero no aumentó significativamente las tasas de victoria de preferencia.
Maximización de la Entropía: La adición explícita de un término de entropía degradó el rendimiento en ambos benchmarks, sugiriendo que la optimización implícita en MMPO es suficiente y que el fomento explícito de la diversidad es perjudicial en este contexto.
Pérdida Auxiliar y Normalización: Eliminar la pérdida auxiliar de tipo DPO o la normalización por lote mejoró ligeramente las tasas de victoria pero degradó la precisión general máxima, indicando un compromiso donde el término central log-sum-exp impulsa el rendimiento mientras que los componentes auxiliares ayudan a preservar las capacidades generales.

Significancia y Reivindicaciones

El artículo afirma que MMPO ofrece una alternativa más simple y estable a los paradigmas de alineación actuales. Al recascar la alineación como un problema de estimación MML, elimina la necesidad de modelos de recompensa explícitos y de regularización de entropía, logrando implícitamente el objetivo de optimización de preferencias. Los autores enfatizan que la estabilidad de MMPO es una propiedad inherente de su formulación (derivada de la normalización por lote y la operación log-sum-exp) más que el resultado de mecanismos de calibración complejos.

El trabajo sugiere que una alineación efectiva no requiere estrictamente la maquinaria compleja de RLHF o las restricciones específicas de DPO. En cambio, maximizar la verosimilitud marginal de las salidas preferidas utilizando pares de preferencias como muestras proporciona un camino robusto hacia la alineación que preserva las capacidades fundamentales de lenguaje del modelo. Los autores señalan que, aunque la evaluación actual está limitada a entornos offline y modelos de hasta 8B de parámetros (debido a restricciones de recursos), el método representa una dirección prometedora para simplificar el flujo de trabajo de alineación de LLMs.