Beyond RLHF and NLHF: Population-Proportional Alignment under an Axiomatic Framework

Este trabajo propone un nuevo marco de aprendizaje de preferencias basado en la teoría de la elección social que alinea las políticas con la distribución real de la población de evaluadores, garantizando axiomas fundamentales como la eficiencia de Pareto y la proporcionalidad poblacional mientras mitiga la manipulación estratégica.

Lo esencial

Imagina que estás organizando una gran fiesta y necesitas decidir qué música poner. Tienes 1,000 invitados, pero no todos tienen el mismo gusto. Algunos aman el rock, otros el jazz, y algunos prefieren la música clásica.

El problema es que no puedes preguntar a cada uno qué quiere escuchar en detalle. Solo tienes una lista de "parejas" de canciones donde la gente ha votado: "¿Prefieres el Rock o el Jazz?", "¿Rock o Clásica?".

Hasta ahora, la forma estándar de tomar decisiones (lo que llaman RLHF y NLHF en el mundo de la Inteligencia Artificial) funcionaba así:

1. Contaban quién ganaba en cada pareja.
2. Si el Rock ganaba por un pelo al Jazz, la IA decidía: "¡Ponemos Rock todo el tiempo!".
3. El problema: Si el Rock ganaba solo por un 51% de los votos, la música clásica (que le gustaba al 49% restante) nunca sonaba. Además, si alguien mentía un poco en sus votos para que el Rock ganara más, el sistema se dejaba manipular fácilmente.

Este nuevo paper de ICLR 2026 propone una forma mucho más justa y robusta de tomar estas decisiones. Aquí te lo explico con analogías sencillas:

1. El Problema: La "Tiranía de la Mayoría" y los "Tramposos"

Imagina que tienes dos grupos de votantes:

• Grupo A (51%): Quiere Rock.
• Grupo B (49%): Quiere Jazz.

Los métodos antiguos dirían: "El Rock gana, así que solo pondremos Rock". Esto es injusto para el Grupo B. Además, si el Grupo B intenta manipular el sistema diciendo que el Rock es terrible (aunque no sea verdad), el sistema antiguo se rompe o cambia drásticamente.

2. La Solución: "Alineación Proporcional a la Población"

Los autores dicen: "No podemos saber exactamente quién es quién (no tenemos etiquetas de grupo), pero podemos adivinar qué tan grande es cada grupo basándonos en las votaciones".

Su método hace dos cosas geniales:

• Infiere los grupos: Mira las votaciones y calcula: "Parece que hay un grupo del 51% y otro del 49%".
• Reparto justo: En lugar de elegir solo una canción, decide poner 51% de Rock y 49% de Jazz. Así, la fiesta refleja la verdadera mezcla de la gente.

3. Las Reglas del Juego (Los "Axiomas")

Para que su sistema sea justo, lo han diseñado siguiendo reglas estrictas (como las leyes de un país):

• La Regla de la Proporcionalidad (PPA): Si un grupo es el 30% de la gente, su música favorita debe sonar al menos el 30% del tiempo. No se puede ignorar a la minoría.
• La Regla de la Robustez (PBM): Imagina que un grupo intenta hacer trampa (mentir en sus votos para ganar más tiempo). Este sistema les dice: "Puedes intentar engañar, pero no ganarás más de lo que tu grupo realmente representa". Si eres el 10% de la gente, no puedes manipular el sistema para que te den el 50% del tiempo. Estás "limitado" por tu tamaño real.
• Eficiencia de Pareto: Si todos odian una canción, el sistema la elimina. Si todos aman una canción, el sistema la pone.

4. El Truco Matemático: "El Límite Conservador"

Como no sabemos los grupos exactos, el sistema usa un "límite de seguridad".
Imagina que tienes un pastel. El sistema dice: "No sabemos exactamente cuánto le toca a cada uno, pero sabemos que nadie puede tener más de X trozo".
Entonces, asigna el pastel basándose en esos límites máximos seguros. Es como si un juez dijera: "No sé exactamente cuánto dinero tienes, pero sé que no puedes tener más de $100, así que te daré una parte justa basada en ese límite".

5. El Equilibrio: "El Botón de Control"

El sistema tiene un botón (llamado beta) que permite ajustar el equilibrio:

• Si apagas el botón: El sistema es súper justo y proporcional (pone música de todos según su tamaño), pero quizás no elige la canción que gana "por mayoría absoluta" en cada duelo.
• Si subes el botón: El sistema se vuelve más agresivo y elige la canción que gana la mayoría de las veces (el "Ganador de Condorcet"), pero pierde un poco de la proporcionalidad.
• La magia: Puedes ajustar este botón para encontrar el punto perfecto entre ser justo con todos y elegir al ganador más popular.

En Resumen

Este paper es como un nuevo sistema de democracia para la Inteligencia Artificial.

Antes, la IA escuchaba a la mayoría y ignoraba a las minorías, y era fácil de engañar. Ahora, la IA:

1. Escucha a todos en proporción a cuántos son (incluso si no sabe quiénes son exactamente).
2. Resiste a los tramposos (si intentas manipularla, no ganas más de lo que te corresponde por tu número).
3. Funciona en la vida real, desde recomendar películas hasta entrenar a los grandes modelos de lenguaje (como el que estás leyendo ahora) para que sean más justos y menos sesgados.

Es un paso gigante para que la IA deje de ser un "tirano" que solo escucha a la mayoría y se convierta en un "mediador" que refleja la verdadera diversidad de las personas.

Resumen técnico

Resumen Técnico: Alineación Proporcional a la Población más allá de RLHF y NLHF

1. El Problema

Los métodos convencionales de aprendizaje de preferencias, como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y el Aprendizaje de Nash a partir de Retroalimentación Humana (NLHF), enfrentan limitaciones críticas al agregar preferencias de múltiples evaluadores:

• Sesgo hacia la mayoría: Tanto RLHF (basado en el modelo Bradley-Terry) como NLHF (basado en juegos de suma cero) tienden a producir políticas que favorecen desproporcionadamente a los grupos mayoritarios o a las opciones con un margen de victoria mínimo, ignorando la distribución real de la población.
• Falta de robustez estratégica: Estos métodos son susceptibles a la manipulación estratégica, donde un grupo de evaluadores puede alterar sus reportes para obtener un resultado desproporcionado a su tamaño real.
• Dependencia de etiquetas de grupo: Las soluciones existentes para la alineación pluralista a menudo requieren conocer explícitamente las identidades de los grupos de evaluadores, lo cual es impráctico en escenarios del mundo real donde estas identidades son implícitas o no observables.

El objetivo del artículo es desarrollar un marco de aprendizaje de preferencias que alinee las políticas con la distribución real de la población de evaluadores, sin necesidad de conocer sus identidades de grupo, utilizando únicamente datos de comparaciones pareadas.

2. Metodología y Marco Teórico

Los autores proponen un nuevo marco fundamentado en la teoría de la elección social, que infiere la distribución de la población directamente de los datos de comparaciones pareadas.

A. Fundamentos Teóricos (Axiomas)
El marco introduce y satisface cuatro axiomas clave para una Probabilistic Social Choice Function (PSCF):

1. Monotonía: Mejorar la clasificación de una alternativa no debe disminuir su probabilidad de selección.
2. Eficiencia de Pareto: Si todos prefieren una alternativa sobre otra, la política debe reflejarlo.
3. Alineación Proporcional a la Población (PPA): La política debe asignar probabilidades a las opciones que sean al menos proporcionalmente débiles a la cuota de población de los grupos que las prefieren. Formalmente, $\pi(y_k)/w_k \ge \alpha$.
4. Manipulabilidad Acotada por Población (PBM): El beneficio de la manipulación por parte de un grupo está acotado por una función afín de su cuota de población real. Esto garantiza que un grupo minoritario no pueda forzar una política determinista a su favor mediante engaño.

B. Recuperación de la Distribución de la Población
Dado que la distribución exacta de la población ($w$) no es identificable a partir de comparaciones pareadas ($P$), el algoritmo infiere un conjunto factible de distribuciones de población $W(P)$.

• Se define un límite superior $u_i$ para la cuota de población de cada alternativa $y_i$, basado en la probabilidad mínima de que $y_i$ sea preferida sobre cualquier otra opción: $u_i = \min_{y \neq y_i} P(y_i \succ y)$.
• El conjunto factible se aproxima mediante un poliedro definido por $w_i \le u_i$.

C. Algoritmo Propuesto
El algoritmo central, denotado como $F^*$, asigna probabilidades a las alternativas proporcionalmente a estos límites superiores conservadores:
$$\pi(y_i) = \frac{u_i}{\sum_{j=1}^M u_j}$$
Esta estrategia minimiza el peor caso de desalineación causado por la pérdida de información en las comparaciones pareadas.

D. Compromiso (Trade-off) con el Ganador de Condorcet
El algoritmo base satisface la PPA pero puede no seleccionar al "Ganador de Condorcet" (la opción que gana a todas las demás en comparaciones pareadas). Para equilibrar esto, se introduce una relajación Softmax controlada por un parámetro $\beta$:
$$\pi(y_i) = \frac{u_i \exp(\beta u_i)}{\sum_{j=1}^M u_j \exp(\beta u_j)}$$

• Cuando $\beta = 0$, se obtiene la alineación proporcional pura.
• Cuando $\beta \to \infty$, el algoritmo converge a un método determinista que satisface la consistencia de Condorcet (similar al método minimax).

3. Contribuciones Clave

1. Inferencia de Distribución sin Etiquetas: Demuestran que es posible inferir el conjunto factible de distribuciones de población directamente de datos de comparaciones pareadas, sin necesidad de conocer las identidades de los grupos de evaluadores.
2. Nuevo Marco Axiomático: Introducen los axiomas de PPA y PBM, demostrando teóricamente que los métodos estándar (RLHF/NLHF) violan estos axiomas, mientras que su método los satisface.
3. Algoritmo Escalable: Proponen un algoritmo de dos fases con aproximación de funciones (usando redes neuronales) que permite escalar el método a entornos de alta dimensión, como el ajuste fino de Grandes Modelos de Lenguaje (LLMs).
4. Prueba de Imposibilidad y Solución: Establecen que la alineación proporcional perfecta ($\alpha=1$) es imposible sin información adicional, pero su método maximiza el límite inferior de $\alpha$ posible bajo restricciones de datos parciales.

4. Resultados Experimentales

Los autores validaron el enfoque en dos escenarios:

• Tareas Tabulares (Recomendación de Películas):

  • Utilizando el dataset MovieLens, compararon su método ($F_\beta$) contra RLHF y NLHF.
  • Hallazgo: RLHF y NLHF lograron altas tasas de victoria (win rate) pero un nivel de PPA de 0 (no representaban a las minorías).
  • El método propuesto mostró un compromiso claro: al aumentar $\beta$, la tasa de victoria aumentaba, pero el nivel de PPA disminuía. Sin embargo, incluso con valores moderados de $\beta$, superó a los baselines en robustez contra la manipulación (PBM).

• Experimentos a Gran Escala (LLMs):

  • Se ajustó el modelo Qwen2.5-3B-Instruct en datasets sintéticos (preferencia de colores) y reales (Alpaca-GPT4 con categorías de "expertos" y "estilo").
  • Resultados: El método demostró ser escalable. En el dataset sintético, se observó claramente el control del trade-off entre rendimiento (win rate) y proporcionalidad (PPA) mediante el ajuste de $\beta$.
  • En el dataset Alpaca-GPT4, aunque el ruido en la clasificación de grupos atenuó el efecto, el método mantuvo una alineación proporcional significativa en comparación con DPO (Direct Preference Optimization).

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la alineación de IA:

• Más allá de la eficiencia: Se aleja del enfoque tradicional de maximizar solo la "tasa de victoria" o la utilidad esperada, priorizando la justicia distributiva y la representación proporcional de diversas opiniones humanas.
• Robustez Estratégica: Ofrece garantías teóricas contra la manipulación por parte de grupos, un problema creciente en sistemas de IA desplegados a gran escala.
• Aplicabilidad Práctica: Al no requerir etiquetas de grupo explícitas, el método es directamente aplicable en escenarios reales donde la demografía de los usuarios es desconocida, llenando una brecha crítica entre la teoría de la elección social y la ingeniería de aprendizaje automático.

En conclusión, el paper propone un marco riguroso y escalable para crear sistemas de IA que reflejen verdaderamente la diversidad de la población humana, equilibrando la eficiencia con la equidad mediante principios axiomáticos sólidos.