💻 computer science

Multi-Stage Alignment of Large Language Models for Popularity Bias Mitigation in Generative Movie Recommendation

Este artículo propone un proceso de alineación multietapa que combina la extracción de preferencias, el ajuste fino supervisado y la Optimización de Preferencias Directas para mitigar eficazmente el sesgo de popularidad en los recomendadores de películas basados en LLM, logrando una mejora en la novedad y la cobertura del catálogo mientras se mantiene una precisión competitiva.

Autores originales: Subham Raj, Krishnakant Chourey, Sriparna Saha, Brijraj Singh, Niranjan Pedanekar

Publicado 2026-07-17

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Subham Raj, Krishnakant Chourey, Sriparna Saha, Brijraj Singh, Niranjan Pedanekar

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que entras en una biblioteca mágica y enorme que lo sabe todo sobre ti. Le dices: "Me encantan las películas de ciencia ficción con viajes en el tiempo", e instantáneamente te susurra una lista de diez películas que podrían gustarte. Esta es la promesa de los sistemas de recomendación modernos, impulsados por gigantescos cerebros informáticos llamados Modelos de Lenguaje de Gran Escala (LLM). Estos modelos son como superlectores que han devorado casi todos los libros, reseñas y tramas de películas de internet. Son increíblemente inteligentes para comprender el lenguaje y el contexto. Sin embargo, hay un problema escurridizo con estos superlectores: están obsesionados con lo "famoso". Debido a que han leído tanto, saben que The Avengers o Titanic se mencionan en todas partes, por lo que siguen sugiriendo esos mismos éxitos populares a todo el mundo, incluso si en realidad prefieres una extraña e ínfima película independiente de 1974. Es como un guía turístico que solo conoce los cinco principales lugares para turistas y se niega a mostrarte las joyas ocultas, sin importar cuánto se lo pidas. Esto se llama "sesgo de popularidad", y hace que la biblioteca se sienta aburrida y repetitiva, ocultando los tesoros únicos que podrían ser perfectos para ti.

Los investigadores de este artículo decidieron arreglar esta obsesión con la fama. No se limitaron a decirle al cerebro informático que "se esforzara más"; construyeron un campamento de entrenamiento especial de tres pasos para reconfigurar la forma en que el modelo piensa sobre las recomendaciones. Primero, le enseñaron al modelo cómo ser un buen bibliotecario mostrándole ejemplos de lo que a la gente realmente le gustaba (un paso llamado Ajuste Fino Supervisado). Luego, jugaron un juego de "esto o aquello" donde el modelo tenía que elegir entre una película famosa y una menos famosa pero igualmente interesante (premiándolo por elegir la joya oculta) (un paso llamado Optimización de Preferencia Directa). Al separar la parte de "aprender a ser útil" de la parte de "aprender a ser diverso", crearon un sistema que sugiere películas que realmente disfrutarás, no solo películas que todo el mundo ha visto. Sus experimentos demostraron que este nuevo método redujo con éxito el número de películas populares sugeridas a la mitad en algunos casos, manteniendo al mismo tiempo la precisión y la diversión de las recomendaciones.

La historia de la solución de tres pasos

Piensa en un Modelo de Lenguaje de Gran Escala (LLM) como un crítico de cine muy talentoso pero ligeramente snob. Este crítico ha leído millones de reseñas y visto miles de películas, pero debido a que ha visto tanto, tiene un mal hábito: solo recomienda los éxitos de taquilla. Si le pides una recomendación de película, casi siempre te sugerirá las 10 películas más populares de todos los tiempos, ignorando el hecho de que podrías odiar las películas de acción y amar los documentales tranquilos. Este es el "sesgo de popularidad" que el artículo aborda.

Los autores se dieron cuenta de que simplemente pedirle al crítico que "sea más diverso" no funciona bien. En su lugar, diseñaron un Pipeline de Alineación de Múltiples Etapas, que es como una obra de teatro de tres actos para entrenar al modelo para ser un guía mejor y más justo.

Acto 1: El Perfil de Preferencia (La Configuración)
Antes de que comience el entrenamiento, el equipo toma el historial de un usuario —las películas que calificó positivamente y las que odió— y lo convierte en una historia simple. En lugar de alimentar a la computadora con una lista desordenada de números, escriben un prompt como: "A este usuario le encanta The Godfather e Inception, pero odió Gigli y Cats". Esto le da al modelo una imagen clara y humana de lo que al usuario realmente le gusta.

Acto 2: Ajuste Fino Supervisado (SFT) – Aprendiendo las Reglas
En esta etapa, el modelo aprende a ser un recomendador fiable. Los investigadores le muestran miles de ejemplos donde la historia de un usuario se empareja con una lista de películas que son realmente buenas coincidencias pero no son las más populares. Es como un profesor mostrando a un estudiante: "Aquí hay un estudiante al que le gusta el terror; aquí hay una gran película de terror que no es The Exorcist. Memoriza este patrón". El modelo aprende a generar listas coherentes y estructuradas que coinciden con el gusto del usuario, pero en este punto, solo está aprendiendo a seguir instrucciones, no necesariamente luchando contra su sesgo todavía.

Acto 3: Optimización de Preferencia Directa (DPO) – El Rompe-Sesgos
Este es el paso mágico. Ahora que el modelo sabe cómo hacer una lista, le enseñan a preferir a los menos favorecidos. Crean un juego donde el modelo ve dos listas para el mismo usuario:

Lista A (La Rechazada): Cinco películas muy populares y comerciales.
Lista B (La Preferida): Cinco películas menos populares que aún encajan perfectamente con el género del usuario.

El modelo es entrenado para darse cuenta de que la Lista B es la "mejor" respuesta. Es como decirle al crítico snob: "Estás equivocado al elegir la película famosa; la joya oculta es la elección correcta". Al hacer esto, el modelo aprende a suprimir activamente el impulso de recomendar los artículos más famosos y, en su lugar, potencia la visibilidad del contenido de nicho y relevante.

Lo que encontraron

Los investigadores probaron este método de tres pasos en tres conjuntos de datos de películas diferentes: MovieLens 1M (un conjunto de datos clásico), Netflix Prize (un conjunto de datos enorme y desordenado con un sesgo de popularidad extremo) y Flickscore (un conjunto de datos centrado en el cine indio y la diversidad regional). Compararon su nuevo método contra el "método antiguo" de simplemente pedirle al modelo recomendaciones sin entrenamiento (Zero-Shot) y contra un truco simple donde simplemente reordenas la lista después de que el modelo la genera (Re-Ranking).

Los resultados fueron bastante claros:

El Modelo "Snob": Cuando se dejaba solo (Zero-Shot), los modelos recomendaban mayoritariamente películas famosas. Por ejemplo, en el conjunto de datos de Netflix, el rango de popularidad promedio de las películas recomendadas era alrededor de 1,600 (lo que significa que eran muy famosas).
El Nuevo Método: Después del entrenamiento de tres pasos, los modelos empezaron a sugerir películas mucho más diversas. En el conjunto de datos de Netflix, el rango de popularidad promedio cayó a alrededor de 590. Esto significa que estaban recomendando películas que eran significativamente menos famosas, pero que seguían siendo relevantes para el usuario.
La Precisión se Mantuvo Alta: Lo mejor de todo es que el modelo no dejó de ser preciso. No empezó a recomendar basura aleatoria solo por ser diferente. La "Precisión" (qué tan buena era la recomendación) se mantuvo casi igual, mientras que la "Novedad" (qué tan nuevas y únicas eran las sugerencias) aumentó por márgenes enormes, llegando a veces a aumentar más de un 170% en el conjunto de datos de Netflix.

También descubrieron que este nuevo método funcionaba mejor que el truco de "Re-Ranking". El Re-Ranking es como decirle al modelo que haga una lista, y luego un humano (o un script de computadora simple) entra y cambia las películas famosas por otras más oscuras al final. El artículo mostró que entrenar al propio modelo (Alineación Intrínseca) para que desee las películas oscuras desde el principio producía resultados mejores y más estables que simplemente arreglar la lista al final.

Por qué esto importa

Este artículo sugiere que no tenemos que elegir entre un sistema de recomendación que sea preciso y uno que sea justo. Al dividir el proceso de entrenamiento en pasos —primero enseñando al modelo a entender al usuario, y luego enseñándole a valorar la diversidad— podemos construir una IA que nos ayude a descubrir la próxima gran película de la que nunca hemos oído hablar, en lugar de simplemente decirnos que veamos el último blockbuster de superhéroes otra vez.

Los autores señalan que, aunque su método funciona bien, requiere mucha potencia informática para entrenar estos modelos. También señalan que no probaron esto con usuarios que no tienen ningún historial (el problema del "arranque en frío" o cold start), lo cual es un desafío para el futuro. Pero para los usuarios que ya han compartido sus gustos, este enfoque de múltiples etapas ofrece una forma basada en principios y escalable para hacer que las recomendaciones de películas se sientan menos como un discurso de ventas para los artículos más populares y más como un descubrimiento genuino de algo especial.

Resumen Técnico: Alineación Multietapa de Grandes Modelos de Lenguaje para la Mitigación del Sesgo de Popularidad en la Recomendación Generativa de Películas

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) integrados en sistemas de recomendación exhiben un fuerte sesgo de popularidad inherente. Debido a su preentrenamiento en corpus masivos que contienen patrones de interacción globales, los LLMs recomiendan desproporcionadamente elementos convencionales y de alta frecuencia, subrepresentando el contenido de nicho alineado con el usuario. Este sesgo crea un bucle de retroalimentación de "el rico se hace más rico", limitando la diversidad del catálogo y el descubrimiento por parte del usuario.

Si bien los sistemas de recomendación clásicos han abordado esto mediante estrategias post-hoc (por ejemplo, ponderación de la inversa de la propensión, reordenamiento consciente de la popularidad), no está claro si la alineación intrínseca de los LLMs puede superar sistemáticamente a estos métodos clásicos en entornos de recomendación generativa. Los enfoques actuales basados en LLM suelen depender de la ingeniería de prompts zero-shot o del ajuste fino supervisado (SFT) de una sola etapa, los cuales fallan al mitigar el sesgo o reproducen la distribución de popularidad de los datos de entrenamiento. Además, existe una falta de evaluación sistemática sobre cómo interactúan las diferentes etapas de alineación y si la corrección del sesgo debe desacoplarse del anclaje conductual.

2. Metodología

Los autores proponen un Pipeline de Alineación Multietapa que separa explícitamente el anclaje conductual de la alineación de corrección de sesgo. Este pipeline consta de tres etapas distintas:

Etapa 1: Extracción de Preferencias e Ingeniería de Prompts

Los historiales de interacción del usuario se transforman en perfiles de preferencia estructurados en lenguaje natural. Una función determinista convierte los 10 filmes favoritos y los 5 menos gustados de un usuario en un prompt textual consistente. Esto unifica la entrada a través de diferentes conjuntos de datos (MovieLens 1M, Netflix Prize, Flickscore) y escalas de calificación (5 estrellas frente a binaria).

Etapa 2: Ajuste Fino Supervisado (SFT)

El LLM es ajustado mediante pares (prompt, objetivo) para establecer el anclaje conductual.

Objetivo: Enseñar al modelo a generar listas de recomendaciones coherentes y estructuradas que mapeen los perfiles de usuario con elementos relevantes.
Construcción de Datos: Los objetivos se generan seleccionando películas no calificadas del 50% inferior de popularidad que compartan una alta similitud de género (índice Jaccard) con las películas favoritas del usuario.
Rol: El SFT estabiliza el formato de salida del modelo y la relevancia, pero no resuelve inherentemente el problema del sesgo, ya que el modelo aún puede retener el conocimiento previo que favorece a los elementos populares.

Etapa 3: Optimización de Preferencia Directa (DPO)

Sobre la base del modelo SFT, se aplica DPO para realizar la alineación de corrección de sesgo.

Construcción de Pares de Preferencia: Para cada prompt de usuario, se construyen programáticamente dos listas:
- Preferida ( $y_w$ ): 5 películas del 50% inferior de popularidad con alta superposición de género.
- Rechazada ( $y_l$ ): 5 películas del 50% superior de popularidad sin coincidencia de género.
Optimización: El modelo es entrenado para maximizar la verosimilitud de la lista preferida sobre la lista rechazada utilizando la función de pérdida DPO. Esto penaliza explícitamente los elementos de alta popularidad mientras recompensa la relevancia temática.
Distinción Clave: Los autores enfatizan que DPO no es novedoso por sí mismo, pero su aplicación después del SFT es crítica. Aplicar DPO sin un anclaje conductual previo conduce a salidas inestables, mientras que el SFT por sí solo no logra corregir el sesgo.

3. Configuración Experimental

Conjuntos de Datos:
- MovieLens 1M: Benchmark equilibrado con 1M de calificaciones.
- Netflix Prize: Conjunto de datos a gran escala y disperso con un sesgo de popularidad extremo.
- Flickscore: Conjunto de datos regional (cine indio) con calificaciones binarias y contexto multilingüe.
Modelos: Tres LLMs de código abierto que representan diferentes generaciones y arquitecturas:
- LLaMA 3.1 8B: Modelo de última generación con ajuste de instrucciones.
- LLaMA 2 7B: Baseline de la generación anterior.
- Mistral 7B: Arquitectura enfocada en la eficiencia con Atención de Consulta Agrupada (GQA) y Atención de Ventana Deslizante.
Baselines (Líneas Base):
- Prompting Zero-Shot: Modelos preentrenados sin modificaciones.
- Reordenamiento Consciente de la Popularidad: Un baseline clásico post-hoc que penaliza los elementos de alta popularidad en la lista generada sin modificar los parámetros del modelo.

4. Resultados Clave

El estudio evalúa el rendimiento utilizando Métricas de Recomendación (Precision@5, nDCG@5, MAP@5) y Métricas de Mitigación de Sesgo (Novedad, Cobertura del Catálogo, Popularidad Promedio).

Mitigación de Sesgo vs. Precisión: La alineación multietapa (SFT + DPO) reduce significativamente el sesgo de popularidad manteniendo una precisión competitiva.
- En Netflix Prize, DPO aumentó la Novedad en ~170% y la Cobertura del Catálogo en ~280% en comparación con los baselines zero-shot, mientras que la Popularidad Promedio cayó un 63%.
- En MovieLens 1M, DPO redujo la Popularidad Promedio de ~1217 a ~575 (para LLaMA 3.1) con solo una caída marginal en Precision@5.
Debiasing Intrínseco vs. Extrínseco: El enfoque de alineación intrínseca propuesto (SFT+DPO) superó consistentemente al baseline clásico de Reordenamiento Consciente de la Popularidad.
- La alineación intrínseca logró mayor Novedad y Cobertura con una Popularidad Promedio más baja en todos los datasets y modelos.
- Los métodos de reordenamiento a menudo introdujeron mayores caídas en la calidad del ranking (Precisión) en comparación con los trade-offs más estables observados con SFT+DPO.
Generalizabilidad: La estrategia demostró ser robusta a través de diferentes arquitecturas de modelos (LLaMA 2, LLaMA 3.1, Mistral) y diversos contextos culturales (cine occidental vs. indio), confirmando que el desacoplamiento del anclaje y la corrección de sesgo no es específico de la arquitectura.

5. Contribuciones Clave

Descomposición del Problema: Formuló la mitigación del sesgo de popularidad en LLMs como un problema de dos etapas (anclaje conductual + corrección de sesgo) en lugar de un objetivo de ajuste fino único.
Análisis Empírico de Limitaciones: Demostró que ni el SFT ni el DPO por sí solos son suficientes; el SFT por sí solo reproduce el sesgo, y el DPO sin anclaje causa inestabilidad.
Estrategia Multietapa: Validó un flujo de trabajo donde el SFT ancla al modelo y el DPO corrige el sesgo, permitiendo una generación estable, reproducible y sin sesgos.
Construcción Programática de Preferencias: Introdujo un método totalmente automatizado y basado en datos para construir pares de preferencia DPO utilizando estadísticas de popularidad de los elementos, eliminando la necesidad de anotación humana.
Validación Cross-Model/Dataset: Proporcionó evidencia extensa de robustez a través de tres familias de LLM y tres conjuntos de datos distintos.
Comparación Intrínseca vs. Extrínseca: Comparó sistemáticamente la alineación intrínseca contra el reordenamiento post-hoc clásico, mostrando que embeber objetivos de equidad en los parámetros del modelo produce un equilibrio de exposición y estabilidad superiores.

6. Significado y Reivindicaciones

El artículo posiciona la alineación de LLM multietapa como una estrategia fundamentada y escalable para mitigar el sesgo de popularidad en sistemas de recomendación generativos. Los autores afirman que:

El Desacoplamiento es Esencial: Separar el anclaje conductual (SFT) de la corrección de sesgo (DPO) es necesario para lograr tanto un comportamiento de recomendación estable como un debiasing efectivo.
Superioridad Intrínseca: Embeber los objetivos de exposición directamente en los parámetros del modelo mediante la alineación multietapa ofrece ventajas sistemáticas sobre los métodos post-hoc clásicos (como el reordenamiento), proporcionando mejores compromisos entre relevancia y equidad.
Escalabilidad: El enfoque es robusto a través de diferentes tamaños de modelo y contextos culturales, lo que sugiere que puede aplicarse ampliamente a diversos escenarios de recomendación.

Los autores reconocen limitaciones, señalando que el marco no aborda explícitamente los escenarios extremos de arranque en frío (donde no existe historial de usuario) y que el costo computacional del ajuste fino multietapa es mayor que el del filtrado colaborativo tradicional. También señalan que, aunque se mitiga el sesgo de popularidad, otros estereotipos latentes (por ejemplo, sesgos demográficos) heredados de los datos de preentrenamiento pueden persistir.