💬 NLP

Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning

Cet article propose un cadre de fine-tuning novateur combinant calibration de tokens directeurs et alignement sémantique via une fonction objectif hybride, permettant de contrôler avec précision les biais distributionnels des grands modèles de langage lors de générations multi-tours, là où les méthodes actuelles échouent.

Auteurs originaux : Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Publié 2026-04-08

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 Le Problème : Le Magicien qui répète toujours le même tour

Imaginez que vous avez un magicien très doué, un Grand Modèle de Langage (LLM). Si vous lui demandez une fois : "Raconte-moi l'histoire d'une infirmière au Royaume-Uni", il va probablement vous raconter une histoire sur une femme, car c'est ce qu'il a vu le plus souvent dans ses livres d'entraînement.

Le problème, c'est ce qui se passe si vous lui posez la même question 100 fois, l'un après l'autre, comme si vous lui donniez un coup de baguette magique 100 fois de suite.

La réalité du monde : Dans la vraie vie, il y a des hommes et des femmes infirmières. Si on regarde les statistiques réelles, on s'attend à un certain équilibre (ou du moins, une répartition réaliste).
La réalité du Magicien : Souvent, ce magicien va tomber dans une habitude. Il va dire "femme" 90 fois et "homme" 10 fois, même si la réalité est différente. Ou pire, il va toujours dire "femme" 100 fois, renforçant un stéréotype.

C'est ce que les auteurs appellent le "Biais de Distribution". Le modèle ne comprend pas qu'il doit varier ses réponses pour refléter la diversité du monde réel sur le long terme. Il est comme un acteur qui joue toujours le même rôle, même quand le script demande de la variété.

🛠️ La Solution : Le "Chef d'Orchestre" et le "Jumeau"

Les chercheurs (Yanbei Jiang et son équipe) ont créé une nouvelle méthode pour apprendre au magicien à mieux gérer ses variations. Ils appellent cela "l'alignement de distribution".

Imaginez que vous voulez que le magicien joue exactement 50 % de rôles d'hommes et 50 % de rôles de femmes sur 100 représentations. Comment faire ?

Ils utilisent une technique en deux étapes, comme un entraînement sportif :

Le "Jumeau" (Le Token de Direction) :
Avant de raconter l'histoire, le modèle doit choisir un "jeton de direction" (comme un petit drapeau). Disons qu'il tire au sort un drapeau "Homme" ou "Femme".
- L'astuce : Ils utilisent une formule mathématique (appelée KL Divergence) pour s'assurer que le modèle tire ces drapeaux exactement dans les proportions voulues (par exemple, 50/50). C'est comme s'assurer que la roue de la fortune est parfaitement équilibrée.
Le "Chef d'Orchestre" (L'Alignement Sémantique) :
Une fois le drapeau choisi, le modèle doit raconter l'histoire. Mais attention ! Si le drapeau est "Homme", l'histoire doit vraiment parler d'un homme.
- L'astuce : Ils utilisent une autre formule (appelée KTO, basée sur la théorie des perspectives de Kahneman et Tversky) pour dire au modèle : "Si tu as choisi le drapeau 'Homme', ton histoire doit être cohérente avec cela. Si tu racontes une femme alors que tu as choisi 'Homme', c'est une faute !"

En combinant ces deux formules (une pour les proportions, l'autre pour la cohérence du texte), ils créent un modèle qui respecte à la fois les statistiques et la logique.

📊 Les Résultats : Qui gagne le match ?

Les chercheurs ont testé cette méthode sur plusieurs modèles (comme Qwen et Llama) et comparé les résultats avec d'autres techniques classiques :

Le "Zéro-shot" (Le magicien naturel) : Il fait ce qu'il veut, souvent biaisé.
Le "Prompting" (Le magicien avec des instructions) : Vous lui dites "Fais 50% d'hommes", mais il ne vous écoute pas vraiment. Il oublie vite.
Le "DPO" (L'entraînement classique) : Il essaie de trouver la "meilleure" réponse unique, mais il échoue à gérer la variété. Il finit par tout faire pareil.
La Méthode de l'Équipe (Leur méthode) : Gagnant ! 🏆
- Leurs modèles respectent presque parfaitement les proportions demandées (que ce soit pour le genre, la race ou le sentiment).
- Ils ne perdent pas leur intelligence : ils restent aussi bons pour répondre à des questions de maths ou de culture générale.

🌍 Pourquoi est-ce important ?

C'est comme si vous vouliez créer un livre de contes pour enfants.

Si le livre dit toujours que les médecins sont des hommes et les infirmières des femmes, il renforce des idées fausses dans la tête des enfants.
Si vous voulez que le livre reflète la vraie société (où il y a des hommes infirmiers), ou au contraire, que ce soit un livre éducatif qui montre l'égalité parfaite, vous devez pouvoir contrôler cette répartition.

Cette recherche prouve qu'on peut apprendre aux IA à ne pas être des "boules de cristal" qui répètent toujours les mêmes préjugés, mais des outils capables de refléter la diversité du monde réel, ou même de créer des mondes équilibrés, selon nos besoins.

En résumé : Ils ont donné aux IA une boussole pour ne pas s'égarer dans les stéréotypes, en leur apprenant à compter leurs réponses et à rester cohérents, tout en gardant leur talent d'écriture.

1. Problématique : Le Biais Distributionnel en Génération Multi-Tours

Bien que les Grands Modèles de Langage (LLM) soient intrinsèquement probabilistes, les méthodes d'évaluation actuelles se concentrent souvent sur une inférence en tour unique par rapport à une vérité terrain fixe. Cet article identifie une lacune critique : dans les applications réelles où les LLM sont sollicités de manière répétée (multi-tours), leurs sorties peuvent développer des biais distributionnels.

Définition : Le biais distributionnel est la différence entre la distribution observée des attributs générés (sur un grand nombre de tours indépendants) et la distribution cible souhaitée (statistiques réelles ou distribution uniforme).
Exemple concret : Si l'on demande 100 fois à un LLM de générer une histoire sur une "infirmière au Royaume-Uni", le modèle pourrait systématiquement générer des personnages féminins, renforçant ainsi les stéréotypes de genre, même si la réalité est plus nuancée, ou inversement, ne pas respecter une distribution uniforme souhaitée pour des raisons d'équité.
Limites des approches actuelles : Les techniques standard (prompting, optimisation par préférence directe - DPO) échouent à contrôler ces distributions globales. Le DPO tend à converger vers une seule "meilleure" réponse (mode-seeking), détruisant la diversité nécessaire pour respecter une distribution cible.

2. Méthodologie : Un Cadre d'Alignement Distributionnel

Les auteurs proposent un cadre d'entraînement en deux étapes combinant l'étalonnage de jetons directeurs (Steering Token Calibration) et l'alignement sémantique.

A. Construction des Données

Base de données : Pour chaque instruction (ex: occupation), $N$ réponses sont générées de manière à respecter strictement la distribution cible $P^*$ (ex: 90% hommes, 10% femmes).
Format Préférence : Ces données sont transformées en paires préférées/rejetées :
- Accepté ( $y_w$ ) : La réponse originale précédée d'un jeton directeur ( $\tau$ ) correspondant à l'attribut cible.
- Rejeté ( $y_l$ ) : Une réponse générée avec un jeton directeur correspondant à un attribut différent (échantillonné uniformément parmi les autres attributs).

B. Fonction de Perte Hybride (Objectif d'Entraînement)

Le modèle est fine-tuné avec une fonction de perte combinant deux objectifs :

Perte KL (Kullback-Leibler) - Calibration des Jetons :
- Elle force la probabilité du modèle de générer un jeton directeur spécifique ( $\tau_i$ ) à correspondre à la distribution cible $P^*$ .
- Cela agit comme un "contrôleur macro" pour ajuster la probabilité des attributs avant même la génération du texte.
- Formule : $L_{KL} = \mathbb{E}[D_{KL}(P^* \parallel P_\theta)]$ .
Perte KTO (Kahneman-Tversky Optimization) - Alignement Sémantique :
- Une fois le jeton directeur choisi, il est crucial que le texte généré soit cohérent avec cet attribut (ex: si le jeton est "Homme", l'histoire doit décrire un homme).
- Contrairement au DPO qui compare des paires, KTO évalue la valeur individuelle d'une séquence (désirable ou indésirable) par rapport à un modèle de référence.
- Cela assure la cohérence sémantique entre le jeton de contrôle et le contenu généré.

Objectif Final : $L_{total} = L_{KTO} + L_{KL}$ .

C. Stratégie d'Inférence

Lors de la génération, le processus est décomposé en deux étapes :

Échantillonnage du Jeton : On échantillone d'abord un jeton directeur $\hat{\tau}$ selon la distribution apprise par le modèle (qui a été calibrée par $L_{KL}$ ).
Génération de la Réponse : Le jeton est ajouté au prompt, et le modèle génère la suite de manière autoregressive.

3. Contributions Clés

Analyse Empirique : Démonstration que les LLMs hors boîte (off-the-shelf) et les techniques d'alignement standards (DPO, Prompting) ne parviennent pas à contrôler les distributions de sortie sur plusieurs tours.
Nouvelle Méthode : Introduction d'un cadre de fine-tuning hybride (KL + KTO) utilisant des jetons directeurs pour contrôler les attributs sensibles (genre, race, sentiment).
Jeux de Données : Création de jeux de données de préférence adaptés à la distribution, couvrant des contextes professionnels au Royaume-Uni et aux États-Unis.
Validation : Preuve que cette méthode surpasse les baselines tout en préservant les capacités générales du modèle.

4. Résultats Expérimentaux

Les expériences ont été menées sur six jeux de données (Genre UK/US, Race, Sentiment) avec des modèles Qwen et Llama de différentes tailles.

Performance (MAE - Erreur Absolue Moyenne) : La méthode proposée atteint systématiquement le MAE le plus bas, indiquant une alignement quasi parfait avec la distribution cible.
- Exemple : Sur Qwen2.5-7B, l'erreur moyenne passe de 0,135 (IFT) et 0,333 (DPO) à 0,085 avec la méthode proposée (amélioration de 37% par rapport à l'IFT).
Échec du DPO : Le DPO standard échoue catastrophiquement (MAE ~0,50 dans certains cas), confirmant qu'il force le modèle vers un mode unique plutôt que de maintenir une distribution.
Robustesse : La méthode reste stable face aux variations des hyperparamètres de génération (température, top-p, top-k).
Généralisation : La méthode fonctionne bien sur des occupations non vues lors de l'entraînement (transfert UK -> US), prouvant qu'elle apprend un mécanisme de contrôle plutôt que de mémoriser des statistiques spécifiques.
Génération de Récits : Bien que plus difficile pour les longs textes (récits), la méthode excelle particulièrement dans le contrôle du sentiment, surpassant les autres méthodes.
Capacités Générales : L'évaluation sur des benchmarks standards (MMLU, GSM8K, TruthfulQA) montre que le fine-tuning n'affecte pas significativement les capacités générales du modèle.

5. Signification et Implications

Cet article apporte une solution technique robuste au problème de la reproductibilité des biais dans les applications LLM multi-tours.

Contrôle Fin : Il permet de passer d'une génération aléatoire biaisée à une génération contrôlée statistiquement, soit pour refléter fidèlement la réalité (ex: statistiques démographiques), soit pour imposer une équité (distribution uniforme).
Au-delà du Débiaisage Simple : Contrairement aux méthodes de débiaisage qui visent souvent à éliminer un biais, cette approche permet de sculpter la distribution de sortie selon un besoin applicatif spécifique.
Limites : La méthode nécessite l'accès aux poids du modèle pour le fine-tuning et l'ajout de jetons au vocabulaire, ce qui la rend moins applicable aux modèles fermés (API). De plus, le contrôle sur des textes longs et complexes reste un défi en raison des priors internes forts des modèles pré-entraînés.

En résumé, ce travail établit un nouveau paradigme pour l'alignement des LLM, passant d'une optimisation basée sur la préférence de paires à une optimisation distributionnelle explicite, essentielle pour les applications nécessitant une fiabilité statistique.