🤖 machine learning

The Differences Between Direct Alignment Algorithms are a Blur

Este trabajo demuestra que el objetivo de clasificación (pareado frente a puntual) es el determinante principal de la calidad de la alineación en los Algoritmos de Alineación Directa, superando la puntuación escalar específica optimizada o la configuración de la etapa de entrenamiento, cuando se evalúa bajo un marco unificado que estandariza las fases de SFT e hiperparámetros.

Autores originales: Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot muy inteligente pero ligeramente rebelde (un Modelo de Lenguaje Grande) cómo ser útil y seguir instrucciones. Durante mucho tiempo, la forma estándar de hacer esto fue como un baile de tres pasos: primero, enseñarle lo básico; segundo, contratar a un juez humano para calificar sus respuestas; y tercero, utilizar un sistema de recompensas complejo para entrenarlo y que obtenga puntuaciones más altas.

Recientemente, los investigadores inventaron los "Algoritmos de Alineación Directa" (DAAs). Estos son atajos que omiten al juez humano y al sistema de recompensas complejo, intentando enseñar al robot directamente mediante una única fórmula matemática. ¿El problema? Todos empezaron a inventar su propia fórmula única, afirmando que la suya era la "mejor", pero nadie podía ponerse de acuerdo sobre por qué una funcionaba mejor que otra. Era como si todos afirmaran que su marca específica de pintura era la mejor, sin darse cuenta de que todos estaban pintando en paredes diferentes.

Este artículo es como una historia de detectives que finalmente aclara la confusión. Aquí está lo que los autores encontraron, explicado de forma sencilla:

1. El experimento del "Taller Unificado"

Los autores se dieron cuenta de que todos estos algoritmos diferentes estaban siendo probados en distintos "talleres" (configuraciones de entrenamiento). Algunos comenzaban con un robot que ya había aprendido lo básico (SFT), mientras que otros intentaban enseñar lo básico y la alineación al mismo tiempo.

Para hacer una comparación justa, construyeron un Taller Unificado. Obligarón a cada algoritmo a:

Primero, aprender lo básico en una clase separada (SFT).
Luego, tomar la clase de alineación.
Utilizar un "mando de temperatura" común (llamado $\beta$ ) para controlar qué tan estricto es el entrenamiento.

El resultado: Una vez que pusieron a todos en el mismo taller, las diferencias entre las fórmulas matemáticas específicas (los "escalares") desaparecieron en gran medida. Resultó que el truco matemático específico que usaba un algoritmo no importaba tanto como cómo comparaba las respuestas.

2. El verdadero héroe: "Por pares" frente a "Puntual"

El artículo descubrió que el factor más importante no es la fórmula matemática específica, sino la estrategia utilizada para comparar las respuestas. Encontraron dos estrategias principales:

La estrategia "Puntual" (El acto en solitario): Imagina a un profesor calificando el ensayo de un estudiante viéndolo solo. "¿Es este ensayo bueno? Sí/No". Luego miran un mal ensayo. "¿Es este malo? Sí/No". Los califican de forma independiente.
La estrategia "Por pares" (El debate): Imagina a un profesor mirando un buen ensayo y un mal ensayo uno al lado del otro. "Bien, dados estos dos, ¿cuál es mejor?". Se centran enteramente en la diferencia entre los dos.

El hallazgo: La estrategia Por pares (el debate) ganó consistentemente. Fue como un entrenador que se centra en comparar a los jugadores entre sí en lugar de juzgarlos de forma aislada. La estrategia "Puntual" a menudo se confundía por las peculiaridades específicas de las preguntas (prompts), desperdiciando energía intentando arreglar cosas que no necesitaban arreglo.

3. ¿Por qué sucede esto? La analogía del "Sesgo"

Los autores explican esto con una analogía ingeniosa sobre el sesgo y la energía mental.

Imagina que el robot tiene una cantidad limitada de "energía mental" (capacidad) para aprender.

El problema puntual: Cuando el robot mira una sola respuesta de forma aislada, intenta arreglarlo todo. Si una pregunta tiene un sesgo extraño (como una pregunta trampa), el robot gasta toda su energía tratando de "desaprender" ese truco. Se ocupa tanto de arreglar el truco que olvida aprender a resolver realmente los problemas difíciles.
La ventaja por pares: Cuando el robot compara dos respuestas lado a lado, ignora los trucos extraños de la pregunta. Solo le importa: "¿Es la Respuesta A mejor que la Respuesta B?". No desperdicia energía intentando arreglar el sesgo de la pregunta; simplemente se centra en la clasificación.

El punto dulce:

Tareas fáciles: Si la tarea es súper fácil, el robot tiene mucha energía. Ambas estrategias funcionan bien.
Tareas difíciles: Si la tarea es súper difícil, el robot está tan abrumado que ninguna estrategia funciona bien.
Dificultad media: Aquí es donde ocurre la magia. El robot tiene suficiente energía para aprender, pero no suficiente para arreglar cada sesgo individual. La estrategia Por pares gana aquí porque ahorra su energía para las partes difíciles, mientras que la estrategia Puntual desperdicia su energía en los sesgos.

4. La sorpresa de la "Eficiencia de los Datos"

Otro hallazgo interesante es que no se necesita una biblioteca masiva de datos para enseñar a estos robots. Los autores descubrieron que usar solo el 5% al 10% de los datos de entrenamiento habituales era suficiente para que los robots alcanzaran el 95% de su rendimiento potencial. Es como darse cuenta de que no necesitas leer toda la enciclopedia para aprender a escribir una buena historia; unos pocos capítulos clave son suficientes.

Resumen

El artículo concluye que el algoritmo "mejor" no es una marca específica de fórmula matemática. En cambio, el ganador es el enfoque Por pares (comparar respuestas lado a lado) porque es más inteligente sobre cómo utiliza la limitada capacidad cerebral del robot. Evita distraerse con las peculiaridades de las preguntas individuales, permitiéndole centrarse en lo que realmente importa: saber qué respuesta es mejor que la otra.

Los autores advierten que las afirmaciones anteriores sobre la "superioridad" de un algoritmo a menudo se debían simplemente a que se probaban en condiciones diferentes o en tareas donde la diferencia no importaba. Una vez que se nivela el campo de juego, la estrategia Por pares es el campeón indiscutible.

Resumen Técnico: Las Diferencias Entre los Algoritmos de Alineación Directa son Difusas

Declaración del Problema

Los Algoritmos de Alineación Directa (DAAs) han surgido como una alternativa simplificada al Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), evitando la modelización explícita de recompensas y las etapas de aprendizaje por refuerzo para optimizar directamente las políticas de los modelos de lenguaje. A pesar de una proliferación de métodos —que van desde el paradigma de dos etapas de la Optimización de Preferencias Directas (DPO) hasta enfoques de una etapa basados en la razón de probabilidades, como la Optimización de Preferencias por Razón de Probabilidades (ORPO) y el Ajuste Fino Supervisado Alineado (ASFT)—, la literatura permanece fragmentada.

El problema central abordado es la dificultad para aislar qué decisiones de diseño específicas impulsan realmente las mejoras en la calidad de la alineación. Las comparaciones existentes a menudo se ven confundidas por protocolos de entrenamiento diferentes (por ejemplo, pipelines de una etapa frente a dos etapas), la presencia o ausencia de una política de referencia y espacios de hiperparámetros variables (específicamente el parámetro $\beta$ ). En consecuencia, las afirmaciones de superioridad algorítmica suelen basarse en diferencias marginales que pueden derivar de artefactos de configuración en lugar de ventajas algorítmicas fundamentales.

Metodología

Para desentrañar estos factores, los autores proponen un marco de entrenamiento unificado que coloca a todos los DAAs en igualdad de condiciones. Este marco implica dos modificaciones críticas a los métodos existentes:

Estandarización a un Pipeline de Dos Etapas: Los autores convierten los métodos originalmente de una etapa (ORPO, ASFT) en un pipeline de dos etapas. Esto implica una fase explícita de Ajuste Fino Supervisado (SFT) para obtener una política ( $\pi_{SFT}$ ), seguida de una fase de optimización de preferencias fuera de línea. Esto aísla la pérdida de alineación de la pérdida de SFT, permitiendo una comparación controlada de los propios objetivos de alineación.
Introducción del Parámetro $\beta$ : Los autores introducen un parámetro de temperatura/escalado $\beta$ en los métodos de una etapa basados en la razón de probabilidades (ORPO, ASFT), que tradicionalmente carecen de este hiperparámetro. Esto sitúa a todos los métodos (incluidos DPO, IPO, SimPO, etc.) en un espacio común de hiperparámetros, permitiendo un análisis sistemático de la sensibilidad.

Dentro de este entorno unificado, los autores analizan los DAAs a lo largo de dos ejes principales:

Familia de Puntuación Escalar: La elección de la función de puntuación subyacente, específicamente la relación política-referencia ( $r^{ref}_\theta$ ) utilizada en DPO frente a la razón de probabilidades ( $r^{odds}_\theta$ ) utilizada en ORPO/ASFT.
Objetivo de Clasificación: La formulación estructural de la pérdida, que distingue entre objetivos pareados (que optimizan la brecha relativa entre las respuestas seleccionadas y rechazadas, por ejemplo, DPO, IPO, SimPO, ORPO) y objetivos puntuales (que optimizan la probabilidad absoluta de las respuestas seleccionadas y rechazadas de forma independiente, por ejemplo, ASFT, NCA, Cal-DPO, APO-Zero).

La evaluación abarca tareas de seguimiento de instrucciones (AlpacaEval 2, ArenaHard) y puntos de referencia de razonamiento matemático (GSM8K, MATH500, etc.) en múltiples escalas de modelos (Llama 3.2 3B, Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B/14B).

Contribuciones Clave

Protocolo Unificado para DAAs: El artículo establece que convertir los métodos de una etapa en un pipeline de dos etapas con una fase explícita de SFT e introducir el parámetro $\beta$ es esencial para maximizar el rendimiento, incluso para objetivos basados en la razón de probabilidades.
El Objetivo de Clasificación como Impulsor Principal: Bajo el protocolo unificado, los autores encuentran que las ventajas previamente reportadas de DAAs específicos desaparecen en gran medida después del ajuste de hiperparámetros. El determinante principal de la calidad de la alineación es el tipo de clasificación (pareado frente a puntual), no la elección de la puntuación escalar (relación política-referencia frente a razón de probabilidades). Los métodos pareados superan consistentemente a los métodos puntuales, particularmente en dificultades de tarea intermedias y escalas de modelos.
Mecanismo de las Brechas de Rendimiento: El artículo proporciona evidencia de que las brechas de rendimiento surgen de la interacción entre la función objetivo y los sesgos específicos del prompt.
- Los objetivos pareados son estructuralmente invariantes a desplazamientos uniformes en las puntuaciones para un prompt dado; se centran únicamente en la clasificación relativa.
- Los objetivos puntuales generan señales de gradiente que incentivan al modelo a ajustar los niveles de puntuación absoluta (la puntuación marginalizada) para cada prompt. En regímenes con capacidad limitada, este "olvido" del sesgo específico del prompt compite con la tarea principal de clasificación, lo que lleva a un rendimiento subóptimo en tareas más difíciles.
Eficiencia de Datos: El estudio demuestra que la mayoría de los DAAs son altamente eficientes en cuanto a datos, requiriendo solo el 5–10% del conjunto de datos de SFT para alcanzar $\ge$ 95% de su rendimiento con datos completos.

Resultados

Convergencia del Rendimiento: Cuando se comparan bajo el protocolo unificado, la mayoría de los DAAs tienen un rendimiento similar o peor que el DPO estándar. Las ventajas distintivas reclamadas en la literatura anterior para algoritmos específicos a menudo desaparecen.
Superioridad Pareada: En los puntos de referencia de seguimiento de instrucciones y razonamiento matemático, los métodos pareados (DPO, IPO, SimPO, ORPO) logran consistentemente puntuaciones máximas más altas que los métodos puntuales (ASFT, NCA, Cal-DPO, APO-Zero). Esta tendencia es más pronunciada en la escala de modelo de 8B en el conjunto de datos UltraFeedback y en tareas de razonamiento matemático con Qwen 2.5.
Irrelevancia de la Puntuación Escalar: La elección entre relaciones política-referencia y razones de probabilidades produce resultados comparables cuando se controlan el objetivo de clasificación y el protocolo de entrenamiento.
Sensibilidad a la Dificultad: La brecha de rendimiento entre los métodos pareados y puntuales es negligible para tareas muy fáciles (donde la capacidad es suficiente para manejar tanto la clasificación como la eliminación de sesgos) y tareas muy difíciles (donde la capacidad es insuficiente para cualquiera de las dos). La brecha surge principalmente en dificultad intermedia, donde los métodos puntuales luchan por equilibrar la eliminación de sesgos con el refinamiento de la clasificación.
Impacto de $\beta$ : Introducir el parámetro $\beta$ en ORPO y ASFT mejora significativamente su calidad de alineación, confirmando su papel como un mecanismo de temperado efectivo.

Significado y Afirmaciones

El artículo argumenta que el campo de la investigación de DAAs ha sido obstaculizado por protocolos de evaluación fragmentados que oscurecen los verdaderos impulsores del rendimiento. Al unificar la configuración de entrenamiento, los autores demuestran que la elección del objetivo de clasificación (pareado frente a puntual) es el factor estructural dominante que influye en la calidad de la alineación, mientras que las parametrizaciones específicas de puntuación juegan un papel secundario.

Los autores afirman que las afirmaciones anteriores sobre el "mejor" DAA a menudo dependen de detalles poco explorados de la configuración y el sesgo de los datos en lugar de una superioridad algorítmica fundamental. Sus hallazgos subrayan la necesidad de evaluaciones matizadas y controladas para evitar afirmaciones simplistas. Además, la identificación de la interacción entre los objetivos y los sesgos específicos del prompt ofrece una explicación mecánica de las diferencias de rendimiento observadas, sugiriendo que los objetivos pareados son más robustos en escenarios donde la capacidad del modelo está restringida en relación con la dificultad de la tarea.

El artículo concluye que, aunque los DAAs basados en razones de probabilidades (como ORPO) pueden ser efectivos, se benefician significativamente de los mismos ajustes estructurales (separación de SFT y ajuste de $\beta$ ) que otros métodos, y su rendimiento está gobernado en última instancia por las mismas dinámicas pareadas frente a puntuales.