🤖 AI

OLLM: Options-based Large Language Models

Ce papier présente OLLM, une méthode légère qui remplace la prédiction d'un seul token par un ensemble d'options paramétrées par un espace latent, améliorant ainsi la contrôlabilité, la robustesse et l'efficacité de l'alignement dans le raisonnement mathématique sans nécessiter de pertes d'alignement supplémentaires.

Auteurs originaux : Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

Publié 2026-04-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'IA qui hésite trop

Imaginez que vous demandez à un grand ami (une Intelligence Artificielle) de résoudre un problème de mathématiques.
Souvent, l'IA fonctionne comme un distributeur de bonbons unique. À chaque étape de sa phrase, elle doit choisir un seul bonbon parmi des milliers de possibilités dans son panier.

Le problème ? Parfois, il y a plusieurs bons chemins pour arriver à la solution.

Exemple : Pour dire "Le chat est sur le...", l'IA pourrait choisir "tapis", "canapé" ou "arbre". Si elle est obligée de choisir le "meilleur" mot tout de suite, elle peut se tromper de chemin et s'engager dans une logique fausse. C'est comme si elle devait prendre une décision à la roulette russe à chaque mot.

💡 La Solution : OLLM, le "Menu de Choix"

Les auteurs de cet article (Shashank, Janina et Vinay) ont eu une idée géniale : au lieu de forcer l'IA à choisir un seul mot tout de suite, donnons-lui un menu de 10 options.

Imaginez que l'IA ne soit plus un distributeur de bonbons, mais un chef de cuisine qui prépare 10 plats différents en parallèle pour un même ingrédient.

Le concept clé : Au lieu de prédire "le mot suivant", le modèle prédit "un ensemble de 10 versions plausibles du mot suivant".
La magie : Ces 10 options sont indexées par un petit code secret (une "variable latente"). C'est comme si le modèle avait 10 chapeaux différents. Chaque chapeau correspond à une façon différente de continuer la phrase.

🛠️ Comment ça marche ? (L'analogie du "Plug-in")

L'architecture de ce modèle est très intelligente car elle est légère.
Imaginez un grand camion (le modèle d'IA existant, très puissant mais rigide). Au lieu de reconstruire tout le camion, les chercheurs ont ajouté deux petites pièces détachées (un encodeur et un décodeur) juste avant la sortie.

L'Encodeur (Le Chef de Cuisine) : Il regarde le contexte et dit : "Pour ce mot, voici 10 recettes possibles."
Le Décodeur (Le Serveur) : Il prend l'une de ces recettes et l'ajoute au plat final.

Le plus beau ? On n'a besoin d'entraîner que 1,5 % des paramètres du modèle. C'est comme changer les roues d'une voiture sans toucher au moteur.

🎯 Le Super-Pouvoir : Le "Contrôleur"

Maintenant, comment choisir quelle option garder ?
C'est là qu'intervient un petit contrôleur (une politique) qui apprend à choisir le bon "chapeau" (la bonne option) à chaque étape.

Avantage 1 : Moins d'erreurs. Comme le contrôleur n'a pas à chercher parmi des millions de mots, mais seulement parmi 10 options valides, il est beaucoup plus précis.
Avantage 2 : Pas de dérive. Souvent, quand on entraîne une IA avec des récompenses, elle commence à dire des bêtises ou à changer de langue pour "tricher". Ici, comme le contrôleur ne peut choisir que parmi les options que le modèle a déjà apprises (les 10 chapeaux), il est impossible qu'il sorte du cadre. C'est comme un chien de garde qui ne peut courir que dans un parc clôturé : il ne peut pas s'échapper dans la forêt.

📊 Les Résultats : Mathématiques et Précision

Les chercheurs ont testé cette méthode sur des problèmes de mathématiques très difficiles (niveau Olympiades).

Les modèles classiques (LoRA) : Ils réussissent environ 51 % des problèmes. Ils s'arrêtent souvent de progresser car ils se "cramponnent" à une seule logique.
Le modèle OLLM : Avec le bon choix d'option, il atteint 70 % de réussite !

C'est comme si, au lieu de marcher dans un brouillard en espérant tomber sur la bonne route, l'IA avait une carte avec 10 chemins possibles, et un guide qui lui dit exactement lequel prendre.

🚀 En résumé

OLLM, c'est comme donner à une IA un kit de survie avec plusieurs chemins au lieu d'un seul.

Au lieu de deviner le futur, elle explore plusieurs futurs possibles en même temps.
Elle garde la structure du modèle original (pas de réinvention totale).
Elle devient plus intelligente, plus stable et moins susceptible de faire des erreurs de logique, surtout en mathématiques.

C'est une étape importante vers des IA que l'on peut contrôler plus facilement, sans avoir besoin de les rééduquer de zéro avec des méthodes complexes.

Résumé Technique : OLLM (Options-based Large Language Models)

1. Problématique

Les modèles de langage (LLM) traditionnels prédisent une seule distribution de probabilité pour le prochain token et s'appuient sur des heuristiques d'échantillonnage (température, top-k/p) pour générer de la diversité. Cette approche présente plusieurs limites :

Multimodalité non explicite : Dans de nombreuses tâches (comme le raisonnement mathématique), plusieurs continuations plausibles existent pour un même contexte. Les LLMs classiques doivent concurrencer ces options au sein d'un seul espace de probabilité (simplexe), ce qui peut entraîner un effondrement vers un mode dominant ou une perte de diversité.
Inefficacité de l'optimisation par renforcement (RL) : L'ajustement par RL (RLHF) opère souvent sur l'ensemble du vocabulaire, ce qui est coûteux en échantillons et sujet à des dérives (ex: changement de langue, raisonnement dégénéré) ou à des "hacks" de récompense.
Manque de contrôlabilité : Il est difficile de guider le modèle vers des trajectoires de raisonnement spécifiques sans modifier massivement les paramètres ou utiliser des losses d'alignement complexes.

Les auteurs constatent empiriquement que bien que ~15 % des positions de tokens soient déterministes, ~58 % admettent une forte ambiguïté (entropie > 3 nats), confirmant la nécessité d'une représentation explicite des options.

2. Méthodologie

OLLM propose une architecture simple et générale qui remplace la prédiction unique du prochain token par un ensemble d'options apprises, indexées par une variable latente discrète.

Architecture :
OLLM agit comme un "plug-in" léger inséré avant la couche de sortie (lm_head) d'un LLM pré-entraîné. Il ajoute deux modules :

Un Encodeur ( $E_\psi$ ) : Pendant l'entraînement, il prend l'état caché du contexte ( $h_t$ ) et l'embedding du token cible ( $e(y_{t+1})$ ) pour produire une distribution sur un petit espace latent discret $Z$ (de taille $K$ , par exemple 10). Cela permet d'assigner le token cible à une "option" spécifique en fonction du contexte.
Un Décodeur ( $D_\omega$ ) : Il prend l'état caché $h_t$ et un échantillon latent $z$ pour générer un vecteur de biais ( $\Delta h_t$ ) qui est ajouté à l'état caché avant la projection vers le vocabulaire.

Fonctionnement :

Entraînement (SFT) : Le modèle apprend à mapper les tokens cibles vers des latents $z$ via l'encodeur, tout en utilisant le décodeur pour biaiser la prédiction. Une perte de divergence KL (régularisée de manière adaptative) empêche l'effondrement de l'espace latent.
Inférence : L'encodeur est remplacé par une politique légère ( $\pi_\phi$ ) qui prédit le latent $z$ directement à partir de l'état caché $h_t$ . Le modèle génère ensuite le token correspondant à cette option.

Avantages de la formulation :

Décomposition du mélange : La distribution du prochain token est décomposée en un mélange sur les options latentes. Les tokens concurrents n'ont plus à se battre pour la même masse de probabilité dans un seul softmax ; ils peuvent être optimisés sous différents latents.
Espace d'action réduit : La politique opère dans un espace de faible dimension ( $K$ options) plutôt que sur le vocabulaire complet, rendant l'optimisation (SFT ou RL) beaucoup plus efficace en termes d'échantillons.

3. Contributions Clés

Modélisation explicite des options : Introduction d'un espace latent discret pour indexer les continuations plausibles, transformant la génération de texte en un problème de sélection d'options.
Architecture "Plug-in" universelle : La méthode ne nécessite que l'ajout de deux couches (encodeur/décodeur) et permet de convertir n'importe quel LLM pré-entraîné avec un nombre minimal de paramètres entraînables (1,56 % dans l'expérience).
Apprentissage de politique dans l'espace latent : Entraînement d'une petite politique pour sélectionner les options, éliminant le besoin de pénalités KL explicites ou de losses d'alignement manuelles pour éviter les dérives.
Alignement structurel : L'alignement et la robustesse découlent de la structure du modèle (contrainte aux options apprises lors du SFT) plutôt que de contraintes externes.

4. Résultats Expérimentaux

Les auteurs ont évalué OLLM sur un modèle de base de 1,7 milliard de paramètres (une version distillée de Qwen2.5/Deepseek R1) entraîné sur le jeu de données OpenMathReasoning et évalué sur OmniMath.

Performance de base : Les modèles de base avec des adaptateurs LoRA (SOTA) atteignent un pic de 51 % de justesse de la réponse finale.
Potentiel théorique d'OLLM : Avec une sélection optimale du latent (oracle), OLLM atteint ~70 % de justesse de la réponse finale. Cela démontre que l'espace catégoriel a appris les variations du texte et que la limitation actuelle réside dans la politique de sélection.
Précision token par token : OLLM atteint ~83 % de précision token par token (contre ~74 % pour les baselines), montrant une meilleure capacité à maintenir plusieurs trajectoires plausibles sans surapprentissage.
Efficacité : La politique entraînée en SFT dans l'espace latent permet d'améliorer significativement la précision finale par rapport aux méthodes standard, avec une variance réduite et une meilleure stabilité.

5. Signification et Perspectives

Efficacité et Robustesse : OLLM démontre que restreindre l'exploration à un espace d'actions latentes appris lors du SFT améliore la robustesse (réduction des changements de langue ou du raisonnement dégénéré) et l'efficacité de l'apprentissage par renforcement.
Interprétabilité : Les différents latents peuvent correspondre à des trajectoires de raisonnement distinctes, offrant un moyen d'explorer et de contrôler les chemins de solution alternatifs de manière interprétable.
Futur : Ce travail ouvre la voie à l'application de l'apprentissage par renforcement (RL) dans des espaces d'actions compacts pour les LLMs, avec des applications potentielles dans la génération de code, les questions-réponses scientifiques et la planification multi-étapes.

En conclusion, OLLM propose un changement de paradigme passant d'une prédiction de token unique à une sélection d'options structurée, améliorant simultanément la précision, le contrôle et l'efficacité des modèles de langage dans des tâches complexes comme le raisonnement mathématique.