💬 NLP

Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning

Este trabajo propone un nuevo marco de ajuste fino que combina la calibración de tokens de dirección con la alineación semántica mediante una función de objetivo híbrida (divergencia KL y optimización Kahneman-Tversky) para lograr un control preciso de la distribución de las respuestas generadas por modelos de lenguaje en múltiples rondas, superando las limitaciones de las técnicas actuales.

Autores originales: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Publicado 2026-04-08

📖 4 min de lectura☕ Lectura para el café

CC0 1.0

Autores originales: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef de cocina muy inteligente (el Modelo de Lenguaje o LLM) que puede escribir historias, responder preguntas o crear contenido. Este chef ha comido todo lo que hay en internet, por lo que sabe de todo, pero también ha absorbido los prejuicios y estereotipos de la sociedad.

El problema que este artículo resuelve es el siguiente:

🍽️ El Problema: El Chef "Prejuicioso" y el "Efecto de la Moneda"

Si le pides a este chef: "Escribe una historia sobre un enfermero en el Reino Unido" y lo haces una sola vez, probablemente te dará una respuesta normal.

Pero, ¿qué pasa si le pides lo mismo 100 veces seguidas, una por una?

La realidad: En el mundo real, hay enfermeros hombres y mujeres, pero históricamente hay muchas más mujeres.
El problema del modelo: Si le pides esto 100 veces, el modelo podría darte 95 historias con enfermeras mujeres y solo 5 con hombres, aunque tú no le hayas pedido eso. O peor aún, podría darte 100 veces enfermeras mujeres, ignorando que existen hombres en ese trabajo.

El modelo no está "pensando" en la estadística global; está simplemente repitiendo sus sesgos internos cada vez que le preguntas. Es como si lanzaras una moneda trucada 100 veces y siempre saliera "cara", aunque la moneda debería ser justa.

🛠️ La Solución: El "Semáforo de Control" y el "Guía de Sabor"

Los autores proponen un nuevo método para entrenar a este chef para que, cuando le pidas 100 historias, el conjunto de las 100 historias respete exactamente la proporción que tú quieras (por ejemplo, 50% hombres, 50% mujeres, o la proporción real de la vida).

Lo hacen en dos pasos mágicos:

1. El Semáforo de Control (Steering Tokens + KL Divergence)

Imagina que le das al chef un semáforo antes de que empiece a cocinar.

Antes de escribir la historia, el modelo debe elegir un "token" (una señal) que diga: "Esta vez voy a hablar de un hombre" o "Esta vez voy a hablar de una mujer".
El método usa una fórmula matemática (KL Divergence) para obligar al semáforo a funcionar como un tablero de distribución. Si quieres que el 30% de las historias sean de hombres, el semáforo se encenderá en "hombre" exactamente el 30% de las veces.
Analogía: Es como tener un barman que, en lugar de servir copas al azar, asegura que en cada ronda de 100 bebidas, exactamente 30 sean de whisky y 70 de vodka, sin importar lo que le pida el cliente individualmente.

2. El Guía de Sabor (Semantic Alignment + KTO)

Aquí viene la parte divertida. A veces, el semáforo dice "Hombre", pero el chef, por hábito, empieza a escribir una historia sobre una mujer. ¡No puede pasar!

Para evitar esto, usan otra técnica (KTO) que actúa como un crítico de cocina estricto.
Si el semáforo dice "Hombre" pero la historia habla de una mujer, el crítico grita: "¡Eso no tiene sentido! ¡Rehazlo!".
Esto asegura que, una vez que el modelo elige la "etiqueta" (hombre/mujer), la historia que escribe realmente coincida con esa etiqueta.

🧪 ¿Qué descubrieron?

Los autores probaron esto con varios modelos de inteligencia artificial (como Qwen y Llama) y en diferentes situaciones:

Género: ¿Enfermeros, ingenieros, directores?
Raza: ¿Personajes de diferentes orígenes?
Sentimiento: ¿Historias felices, tristes o neutras?

Los resultados fueron increíbles:

Los métodos anteriores (como simplemente pedirle al modelo "sé justo" en el prompt) fallaban estrepitosamente. El modelo seguía siendo sesgado.
Su nuevo método logró que las distribuciones de las 100 historias fueran casi perfectas respecto a lo que se pidió.
Además, el chef no perdió su capacidad de cocinar bien: las historias seguían siendo creativas y de alta calidad.

🌟 En Resumen

Este papel nos dice que las Inteligencias Artificiales actuales son como espejos rotos: si les preguntas muchas veces, te devuelven una imagen distorsionada de la realidad.

Los autores han creado un marco de control que actúa como un director de orquesta. No solo asegura que cada instrumento (cada respuesta individual) suene bien, sino que garantiza que toda la sinfonía (el conjunto de 100 respuestas) tenga el equilibrio perfecto de notas que el director (el usuario) desea, ya sea para reflejar la realidad o para crear un mundo totalmente nuevo y justo.

Es una herramienta poderosa para que las empresas y los investigadores puedan usar la IA sin perpetuar estereotipos, asegurando que la tecnología sea tan justa como nosotros queremos que sea.

1. Planteamiento del Problema

El trabajo aborda un problema fundamental en la evaluación y despliegue de Modelos de Lenguaje Grandes (LLMs): el sesgo distribucional en la generación multi-redonda.

Contexto: Aunque el mundo real es estocástico, los LLMs suelen evaluarse en inferencia de una sola ronda contra una verdad fundamental fija. Sin embargo, en aplicaciones del mundo real, los usuarios pueden solicitar múltiples generaciones independientes bajo el mismo prompt.
El Problema: Los LLMs existentes carecen de una comprensión y control distribucional. Cuando se les pide generar respuestas repetidamente (ej. "Escribe una historia sobre una enfermera en el Reino Unido" 100 veces), la distribución agregada de los atributos generados (género, raza, sentimiento) a menudo se desvía significativamente de las estadísticas del mundo real o de una distribución uniforme deseada.
Definición: El sesgo distribucional se define como la diferencia entre la distribución observada de las salidas del LLM y la distribución objetivo (ya sea estadística real o una distribución uniforme impuesta por el usuario). Las técnicas actuales, como la ingeniería de prompts o la Optimización Directa de Preferencias (DPO), fallan en controlar estas distribuciones de manera fiable.

2. Metodología Propuesta

Los autores proponen un nuevo marco de ajuste fino (fine-tuning) que combina la Calibración de Tokens de Dirección (Steering Token Calibration) con la Alineación Semántica. El objetivo es alinear la distribución de salida con una distribución objetivo $P^*$ mientras se mantiene la calidad semántica.

A. Estructura del Entrenamiento (Dos Etapas)

Construcción de Dataset de Preferencia:
- Se genera un conjunto base de respuestas que siguen estrictamente la distribución objetivo $P^*$ (ej. 99% masculino, 1% femenino para una ocupación específica).
- Estas respuestas se transforman en pares de preferencia: una respuesta aceptada ( $y_w$ ) que incluye un Token de Dirección ( $\tau$ ) correspondiente al atributo deseado, y una respuesta rechazada ( $y_l$ ) con un token de dirección de un atributo negativo (muestreado uniformemente).
Función de Objetivo Híbrida:
El modelo se entrena minimizando una función de pérdida compuesta por dos componentes:
- Pérdida de Divergencia KL ( $L_{KL}$ ): Se aplica a los logits de los tokens de dirección. Su función es calibrar la probabilidad de generar un token específico para que coincida con la distribución objetivo $P^*$ . Actúa como un "controlador macro" que ajusta la intención estadística del modelo.
- Optimización Kahneman-Tversky ( $L_{KTO}$ ): Se utiliza para asegurar la consistencia semántica. A diferencia del DPO tradicional, KTO define una función de valor para ejemplos individuales (deseables vs. indeseables). Esta pérdida asegura que, una vez seleccionado un token de dirección (ej. "masculino"), el texto generado a continuación sea semánticamente consistente con ese atributo. Actúa como un "controlador micro".
Fórmula Final: $L_{total} = L_{KTO} + L_{KL}$

B. Inferencia

Durante la inferencia, el proceso es de dos pasos:

Muestreo de Token: Se genera primero el token de dirección ( $\hat{\tau}$ ) basándose en la distribución aprendida.
Generación de Respuesta: Se genera el texto autoregresivo condicionado a ese token.

3. Contribuciones Clave

Identificación del Problema: Demostración empírica de que los LLMs comerciales y las técnicas de alineación estándar (incluido el DPO) no pueden controlar la distribución de atributos en generaciones repetidas, tendiendo a reforzar estereotipos o colapsar en una sola respuesta.
Nuevos Conjuntos de Datos: Creación de datasets de preferencia conscientes de la distribución para contextos ocupacionales en EE. UU. y Reino Unido, cubriendo atributos de género, raza y sentimiento.
Marco de Ajuste Fino Híbrido: Introducción de un método novedoso que acopla la calibración de tokens (KL) con la alineación semántica (KTO), logrando un control preciso sobre la distribución de salida sin sacrificar la coherencia del texto.
Validación Robusta: Evaluación exhaustiva en múltiples modelos (Qwen, Llama) y escalas, demostrando superioridad sobre baselines en tareas de generación de atributos y generación de historias.

4. Resultados Experimentales

Rendimiento Superior: El método propuesto ("Ours") logra consistentemente el Menor Error Absoluto Medio (MAE) en comparación con baselines como Zero-shot, Ingeniería de Prompts (PE), Ajuste Fino Supervisado (IFT) y DPO.
- En el modelo Qwen2.5-7B, redujo el MAE promedio de 0.135 (IFT) a 0.085, una mejora relativa del 37%.
- El DPO falló catastróficamente en tareas de desbiasing distribucional (MAE ~0.50 en configuraciones uniformes), confirmando que tiende a buscar un modo único en lugar de una distribución.
Estabilidad: El método es robusto frente a variaciones en hiperparámetros de generación (temperatura, top-p, top-k).
Generalización: El modelo se generaliza bien a ocupaciones no vistas durante el entrenamiento y funciona tanto en distribuciones basadas en estadísticas reales como en distribuciones uniformes.
Consistencia Interna: El análisis de los logits internos muestra que el modelo ha aprendido a condicionar sus probabilidades intrínsecas a la distribución objetivo, no solo a optimizar una estrategia de decodificación.
Capacidades Generales: La evaluación en benchmarks generales (MMLU, GSM8K, TruthfulQA) indica que el método no degrada las capacidades generales del modelo.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de la evaluación de LLMs de una perspectiva de "una sola respuesta correcta" a una de control distribucional.

Justicia y Personalización: Permite a los desarrolladores alinear las salidas de los LLMs con estadísticas demográficas reales (para aplicaciones médicas o de recursos humanos) o forzar distribuciones equitativas (para materiales educativos o contenido inclusivo), mitigando la amplificación de estereotipos sociales.
Limitaciones: El método requiere acceso a los pesos del modelo para el ajuste fino (no es aplicable directamente a APIs cerradas sin acceso a los parámetros) y enfrenta desafíos mayores en la generación de historias largas donde los priores internos del modelo son más fuertes.
Ética: El artículo advierte que alinear con distribuciones reales puede perpetuar desigualdades si no se elige cuidadosamente el objetivo (ej. reflejar la realidad sesgada vs. imponer una distribución ideal). La herramienta ofrece el control, pero la definición de la distribución objetivo debe ser ética y contextual.

En resumen, el artículo presenta una solución técnica sólida para un problema de sesgo sistémico en LLMs que había sido ignorado, ofreciendo un mecanismo preciso para controlar la estadística de las generaciones de IA.