💬 NLP

Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context

Ce papier présente la régression par tokens de quantiles, une méthode novatrice qui enrichit les séquences d'entrée avec des tokens dédiés et des données de voisinage pour prédire des distributions conditionnelles complètes avec une précision et une granularité supérieures aux approches existantes.

Auteurs originaux : Yilun Zhu, Yuan Zhuang, Nikhita Vedula, Dushyanta Dhyani, Shaoyuan Xu, Moyan Li, Mohsen Bayati, Bryan Wang, Shervin Malmasi

Publié 2026-04-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yilun Zhu, Yuan Zhuang, Nikhita Vedula, Dushyanta Dhyani, Shaoyuan Xu, Moyan Li, Mohsen Bayati, Bryan Wang, Shervin Malmasi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire le prix d'un appartement à Seattle ou le temps qu'il faudra pour recevoir une réponse sur un forum de questions-réponses.

La plupart des intelligences artificielles (IA) actuelles fonctionnent comme un oracle qui donne une seule réponse : « Ce logement coûtera 1 200 $ » ou « La réponse arrivera dans 2 heures ». C'est utile, mais c'est incomplet. Dans la vraie vie, il y a toujours des incertitudes : parfois le logement se vend moins cher, parfois plus cher. Parfois la réponse arrive en 10 minutes, parfois il faut attendre 2 jours.

Ce papier propose une nouvelle façon de faire : au lieu de prédire un seul chiffre, l'IA doit prédire tout le spectre des possibilités, comme un nuage de probabilités.

Voici comment les auteurs ont réussi à améliorer cette prédiction, expliqué simplement avec des analogies.

1. Le problème : L'IA est un peu "brouillonne"

Les méthodes actuelles demandent à l'IA de regarder un texte (la description d'un appartement) et de sortir 50 ou 100 chiffres différents (les prix possibles du plus bas au plus haut).

L'ancien problème : Imaginez un chef cuisinier (l'IA) qui doit préparer 50 plats différents, mais il n'a qu'une seule planche à découper (une seule représentation mentale) pour tout faire. Il doit tout y mettre en même temps, ce qui crée une confusion. De plus, il cuisine les yeux fermés, sans regarder les ingrédients des voisins.

2. La solution A : Les "Jetons de Quantile" (Des experts spécialisés)

Les auteurs ont inventé une astuce architecturale appelée Quantile Token Regression.

L'analogie : Au lieu d'avoir un seul chef qui essaie de tout faire, imaginez que vous engagez 50 experts différents dans la cuisine.
- L'expert n°10 (qui prédit le prix le plus bas) se concentre uniquement sur les signes de "bon marché" (ex: "petit studio", "loin du centre").
- L'expert n°90 (qui prédit le prix le plus haut) ignore ces détails et cherche uniquement les signes de "luxe" (ex: "vue mer", "grand balcon").
Comment ça marche : Ils ajoutent des étiquettes spéciales (des "jetons") dans la phrase d'entrée. Chaque jeton agit comme un expert dédié qui va chercher spécifiquement les informations qui l'intéressent dans le texte. Cela permet à l'IA de dire : « Pour le prix bas, je regarde ceci ; pour le prix haut, je regarde cela », rendant la prédiction beaucoup plus précise et logique.

3. La solution B : L'Enquête de Voisinage (La recherche de contexte)

La deuxième innovation consiste à ne pas laisser l'IA deviner seule.

L'analogie : Si vous voulez estimer le prix d'une maison, vous ne regardez pas seulement sa description. Vous allez voir ce qui se vend autour : « Tiens, la maison voisine a vendu à 1 100 $, celle d'en face à 1 300 $ ».
Ce que fait le papier : Avant de faire sa prédiction, l'IA va chercher dans sa mémoire les 8 exemples les plus similaires (les "voisins"). Mais elle ne regarde pas seulement le prix final de ces voisins. Elle regarde toute leur histoire de prix (la distribution).
- Si les voisins ont des prix très variables, l'IA comprendra que l'incertitude est grande.
- Si les voisins ont des prix très stables, l'IA sera plus confiante.
- Cela permet à l'IA de "s'ancrer" dans la réalité locale plutôt que de faire des suppositions abstraites.

4. Le résultat : Plus précis et plus sûr

En combinant ces deux techniques (des experts spécialisés + l'observation des voisins), les résultats sont impressionnants :

Plus précis : L'IA se trompe beaucoup moins sur les prix ou les délais.
Plus "net" : Au lieu de donner une fourchette de prix énorme et inutile (ex: « entre 500 $ et 5 000 $ »), elle donne une fourchette très serrée et réaliste (ex: « entre 1 150 $ et 1 250 $ »).
Particulièrement utile pour les petits jeux de données : Sur des sujets complexes où il y a peu d'exemples (comme les questions techniques rares), cette méthode fait des merveilles là où les anciennes méthodes échouaient complètement.

En résumé

Ce papier transforme l'IA d'un devin solitaire qui donne une seule réponse vague, en un analyste de marché averti qui :

Fait appel à des spécialistes pour chaque niveau de probabilité.
Consulte les voisins pour comprendre le contexte local.
Vous donne une carte complète des risques et des opportunités, pas juste un chiffre.

C'est une avancée majeure pour toutes les applications où l'incertitude est importante : prévisions financières, estimation de coûts, gestion des risques, ou même prédiction du temps d'attente dans un service client.

1. Problématique

Les applications basées sur les Grands Modèles de Langage (LLM) pour la régression textuelle se concentrent traditionnellement sur la prédiction d'une valeur ponctuelle unique. Cependant, de nombreux cas d'usage réels (prévision des prix, estimation de la demande, évaluation des risques) nécessitent la prédiction d'une distribution conditionnelle complète plutôt que d'une seule valeur moyenne.

Les approches existantes (comme celle de Vedula et al., 2025) souffrent de trois limitations majeures :

Goulot d'étranglement de représentation : Toutes les prédictions de quantiles sont dérivées d'un même état caché final partagé, créant un lien indirect entre les caractéristiques d'entrée et les sorties spécifiques à chaque quantile.
Manque d'ancrage local : Les modèles prédisent des distributions uniquement à partir du texte de la requête, sans accès explicite à des instances similaires qui pourraient éclairer la dispersion et le comportement des queues de la distribution.
Supervision limitée : Les méthodes d'augmentation par récupération (RAG) précédentes n'utilisent souvent qu'une seule étiquette ponctuelle par voisin, offrant une supervision distributionnelle pauvre.

L'objectif de ce papier est de prédire une distribution complète (représentée par une grille dense de quantiles) à partir d'un texte, en utilisant une supervision par quantiles empiriques (plusieurs observations par entrée).

2. Méthodologie

Les auteurs proposent une architecture combinant deux innovations principales :

A. Régression par Tokens de Quantiles (Quantile Token Regression)

Au lieu d'utiliser des têtes de régression linéaires séparées sur un état caché partagé, l'approche insère des tokens de quantiles dédiés ( $\langle Q_{\tau_1} \rangle, \dots, \langle Q_{\tau_Q} \rangle$ ) directement dans la séquence d'entrée du modèle Transformer.

Mécanisme : Chaque token de quantile participe au mécanisme d'auto-attention de l'ensemble du réseau. Cela permet à chaque quantile de collecter des informations spécifiques à travers différentes parties du texte d'entrée.
Avantage : Cela crée un chemin direct entrée-sortie pour chaque niveau de quantile. Par exemple, le token pour le 10e percentile peut apprendre à se concentrer sur des signaux de popularité (prédisant des réponses rapides), tandis que le token pour le 90e percentile se concentre sur la complexité (prédisant des réponses lentes).

B. Estimation de Distribution Augmentée par Récupération (Retrieval-Augmented)

Le modèle est enrichi avec des voisins récupérés (instances sémantiquement similaires) provenant d'un pool de candidats.

Innovation clé : Contrairement aux méthodes RAG classiques qui fournissent une seule étiquette par voisin, chaque voisin récupéré est fourni avec sa distribution empirique complète (représentée par un ensemble de quantiles).
Bénéfice : Cela ancre la prédiction dans des preuves locales concrètes, aidant le modèle à estimer non seulement la tendance centrale, mais aussi la dispersion et les comportements de queue (outliers).

C. Analyse Théorique des Fonctions de Perte

Les auteurs analysent mathématiquement différentes fonctions de perte pour l'apprentissage de quantiles sous supervision empirique :

Pertes $\ell_1$ et $\ell_2$ (Matching Wasserstein) : Elles traitent les quantiles empiriques comme des mesures bruitées des quantiles de population. Elles sont théoriquement cohérentes (Fisher-consistent) et minimisent la distance de Wasserstein.
Perte "Pinball" (Pinball-Q et Pinball-Med) : L'application de la perte pinball standard sur des cibles de quantiles empiriques (et non sur les données brutes) introduit un biais systématique (inflation/déflation) et perd la forme de la distribution.
Conclusion théorique : Les pertes basées sur la distance de Wasserstein ( $\ell_1$ ou $\ell_2$ ) sont supérieures pour ce type de supervision.

3. Contributions Clés

Architecture Quantile Token : Première utilisation de tokens dédiés insérés dans la séquence d'entrée pour permettre des voies directes entrée-sortie via l'attention, améliorant la cohérence et l'interprétabilité des prédictions de quantiles.
RAG Distributionnel : Extension de l'augmentation par récupération aux prédictions de distributions en fournissant aux voisins leurs distributions empiriques complètes, et non de simples points.
Analyse Théorique : Clarification des objectifs d'optimisation des différentes fonctions de perte pour la régression de quantiles sous supervision empirique, démontrant la supériorité des approches de type Wasserstein.
Validation Empirique : Résultats sur deux jeux de données benchmarks (Inside Airbnb et StackSample) avec des modèles de 1,7B à 14B paramètres.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles Qwen3 (1.7B à 14B) avec les ensembles de données suivants :

Inside Airbnb : Prédiction de la distribution des prix pour des annonces immobilières.
StackSample : Prédiction de la distribution des temps de réponse aux questions sur Stack Overflow.

Principaux résultats :

Performance globale : La combinaison "Tokens de Quantiles + Voisins" surpasse systématiquement les bases (Quantile Regression standard) et les variantes partielles.
Précision : Réduction de l'erreur absolue moyenne en pourcentage (MAPE) d'environ 4 points par rapport aux meilleures baselines.
Précision des intervalles : Les intervalles de prédiction sont 2 fois plus étroits (RCIW réduit) tout en maintenant une bonne couverture, indiquant des distributions plus nettes et précises.
Impact sur les petits modèles et données difficiles : Les gains sont particulièrement spectaculaires sur le jeu de données StackSample (plus petit et plus bruyant), où la méthode réduit le MAPE moyen de 266 à 84 (réduction de 68%) par rapport à la baseline sans récupération, et réduit la largeur des intervalles de confiance de 45 000 à 347.
Analyse des pertes : La perte $\ell_1$ Wasserstein offre le meilleur compromis précision-netteté, tandis que les pertes Pinball produisent des intervalles de prédiction excessivement larges et impraticables.

5. Signification et Impact

Ce travail démontre que pour les tâches de régression textuelle nécessitant une estimation d'incertitude, il est crucial de passer d'une approche de "point unique" à une approche de "distribution complète".

Innovation Architecturale : L'introduction de tokens de quantiles brise le goulot d'étranglement des représentations partagées, permettant aux modèles de mieux capturer les effets hétérogènes à travers la distribution.
Rôle du Contexte Local : L'utilisation de distributions de voisins (et non juste de points) valide l'hypothèse que des instances similaires partagent des distributions de résultats similaires, ce qui est essentiel pour estimer la variance et les queues de distribution.
Applicabilité : La méthode est scalable (fonctionne bien sur des modèles de différentes tailles) et particulièrement efficace dans des scénarios à forte incertitude ou avec des données limitées, ouvrant la voie à des applications plus robustes en finance, logistique et gestion des risques.

En résumé, cette approche combine une architecture de tokens spécialisée et un contexte de récupération enrichi pour transformer les LLM en prédicteurs de distributions fiables et interprétables.