🤖 machine learning

Teaching Metric Distance to Discrete Autoregressive Language Models

Ce papier présente DIST2Loss, une fonction objectif sensible à la distance pour les modèles de langage discrets autorégressifs, qui remplace les cibles one-hot traditionnelles par des distributions pondérées par la récompense afin d'améliorer l'efficacité des données et les performances sur diverses tâches telles que l'ancrage visuel, la robotique et la génération d'images en exploitant les relations métriques entre les tokens.

Auteurs originaux : Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à parler ou à agir. Actuellement, la plupart des grands modèles de langage (LLM) apprennent comme un élève passant un test à choix multiples où il n'existe qu'une seule bonne réponse. Si le robot devine « 4 » alors que la réponse est « 5 », l'enseignant dit : « Faux ! Réessayez. » Il traite « 4 » et « 5 » comme des choses complètement différentes et sans rapport, tout comme il traite « pomme » et « banane » comme sans rapport.

L'article introduit une nouvelle méthode d'enseignement appelée DIST2Loss. Il soutient que pour certaines tâches — comme les mathématiques, les mouvements de robots ou le dessin de boîtes autour d'objets — les réponses ne sont pas de simples catégories aléatoires ; elles ont une distance les unes par rapport aux autres. « 4 » est très proche de « 5 », mais « 4 » est loin de « 90 ».

Voici comment l'article explique cela en utilisant des analogies simples :

1. Le Problème : L'enseignant « Tout ou Rien »

À l'ancienne (appelée « cibles one-hot »), si un robot essaie d'apprendre à dessiner une boîte autour d'un chat et qu'il dessine une boîte légèrement trop petite, l'ordinateur dit : « Échec total ». Peu importe que la boîte soit décalée de 1 pixel ou de 100 pixels ; la pénalité est la même.

C'est comme un enseignant qui corrige un test de mathématiques où obtenir la réponse « 4,9 » alors que la réponse est « 5,0 » vous vaut un zéro, tout comme obtenir « 100 » vous vaut un zéro. Le modèle n'apprend pas que « 4,9 » était en fait presque juste.

2. La Solution : La « Carte de Récompenses » (DIST2Loss)

Les auteurs ont créé une nouvelle façon de noter le robot. Au lieu d'un simple interrupteur « Vrai/Faux », ils donnent au robot une carte de récompenses.

L'Analogie : Imaginez que vous lancez des fléchettes sur une cible.
- Ancienne Méthode : Si vous touchez le centre, vous obtenez 10 points. Si vous ratez d'un seul millimètre, vous obtenez 0 point.
- DIST2Loss : Si vous touchez le centre, vous obtenez 10 points. Si vous ratez d'un millimètre, vous obtenez 9,9 points. Si vous ratez d'un mile, vous obtenez 0 point.

Le modèle apprend que être proche est mieux que d'être loin. Il utilise la distance réelle entre les nombres ou les coordonnées pour créer une cible « douce ». Si la réponse est 5, le modèle est encouragé à attribuer une probabilité élevée à 4 et 6, et une probabilité plus faible à 1 ou 10.

3. Pourquoi C'est Spécial : Pas de « Essais et Erreurs »

Habituellement, pour enseigner à un robot à comprendre la « proximité », vous devez utiliser une méthode appelée Apprentissage par Renforcement (RL). C'est comme entraîner un chien : vous laissez le chien essayer quelque chose, voyez si cela fonctionne, puis lui donnez une friandise ou une réprimande. Cela prend beaucoup de temps, est désordonné et peut être instable.

L'article affirme que DIST2Loss est un raccourci. Il calcule mathématiquement la « carte de récompenses parfaite » dès le début. C'est comme donner au chien une carte indiquant où sont cachées les friandises avant même qu'il ne commence à courir. Le modèle apprend le concept de « distance » instantanément, sans avoir besoin de deviner et d'échouer des milliers de fois.

4. Où Cela Fonctionne (Les Expériences de l'Article)

Les auteurs ont testé cette méthode d'enseignement « consciente de la distance » dans quatre domaines spécifiques où la « proximité » compte :

Ancrage Visuel (Trouver des Objets) : Lorsqu'un robot est invité à dessiner une boîte autour d'une « voiture rouge », DIST2Loss l'aide à dessiner une boîte géométriquement plus proche de la vraie voiture, même si elle n'est pas parfaite.
Robotique (Déplacement des Bras) : Lorsqu'un robot doit déplacer son bras vers une coordonnée spécifique (x, y, z), DIST2Loss l'aide à apprendre le mouvement plus rapidement et plus précisément car il comprend qu'être légèrement décalé est mieux que d'être totalement décalé.
Modélisation des Récompenses (Noter les Réponses) : Lorsqu'un modèle doit évaluer la qualité d'une réponse humaine (par exemple, sur une échelle de 1 à 10), DIST2Loss l'aide à comprendre qu'un « 9 » est beaucoup plus proche d'un « 10 » qu'un « 1 », ce qui conduit à une meilleure notation.
Génération d'Images : Lors de la création d'images à partir de texte, le modèle utilise des « tokens » (briques de construction numériques). DIST2Loss l'aide à comprendre que remplacer un token par un token « voisin » maintient l'image similaire, tandis que le remplacer par un token « éloigné » gâche l'image.

La Conclusion

L'article affirme qu'en disant simplement au modèle : « Hé, ces nombres sont proches les uns des autres », le modèle devient bien meilleur dans les tâches impliquant des nombres, des coordonnées et des mesures. Il rend le modèle plus efficace (nécessite moins de données pour apprendre) et plus précis, sans avoir besoin de méthodes d'entraînement complexes et instables. Il transforme un monde « noir et blanc » de juste/mauvais en un monde de « nuances de gris » où être proche compte pour quelque chose.

Résumé Technique : Enseignement de la Distance Métrique aux Modèles de Langage Autoregressifs Discrets

Énoncé du Problème

Les Grands Modèles de Langage (LLM) et autres modèles fondamentaux autoregressifs discrets fonctionnent en prédisant des tokens à partir d'un vocabulaire, traitant chaque token comme une variable catégorielle discrète optimisée par rapport à une distribution cible one-hot. Bien que cette formulation ait permis l'adaptation des LLM à des domaines divers tels que la vision, la robotique et le raisonnement multimodal, elle néglige fondamentalement les relations métriques entre les tokens.

Dans les tâches impliquant des éléments structurés numériquement ou métriquement — tels que les entiers dans le raisonnement arithmétique, les coordonnées spatiales dans la détection d'objets, les angles de rotation dans la manipulation robotique, ou les embeddings quantifiés dans la génération d'images — la structure de distance intrinsèque est perdue lorsque les tokens sont réduits à des cibles one-hot. L'entraînement conventionnel ignore qu'une prédiction de "4" est sémantiquement plus proche d'une vérité terrain de "5" qu'une prédiction de "2". Cette limitation entrave l'efficacité des données et les performances dans les domaines où la distance a un sens.

Méthodologie : DIST2Loss

Les auteurs introduisent DIST2Loss (DIScreTized DISTance Loss), une fonction objectif sensible à la distance pour les modèles autoregressifs discrets. L'idée centrale est de remplacer la distribution cible one-hot standard par une distribution pondérée par la récompense, dérivée de distances de tokens prédéfinies.

Formulation de Base

Étant donné un sous-ensemble de vocabulaire $V_d$ et un espace métrique $(X, d)$ , DIST2Loss construit une distribution cible $p_d(v|x, t)$ pour un token $v$ à l'étape de temps $t$ , étant donné un token de vérité terrain $x$ . Cette distribution est définie en utilisant une famille exponentielle discrétisée :

$p_d(v|x, t) = \frac{\exp\left(-\frac{d(v, x, t)}{\tau}\right)}{\sum_{v' \in V_d} \exp\left(-\frac{d(v', x, t)}{\tau}\right)}$

Où :

$d(v, x, t)$ est la distance entre le token candidat $v$ et la vérité terrain $x$ (par exemple, distance euclidienne pour les coordonnées, distance angulaire pour les rotations, ou distance d'embedding pour les codes VQ).
$\tau$ est un hyperparamètre de température contrôlant la régularité de la distribution.

L'objectif d'entraînement final combine la perte d'entropie croisée standard ( $L_{CE}$ ) avec la régularisation basée sur la distance :
$L = L_{CE} + \alpha L_{dist}$
où $L_{dist}$ est la divergence KL entre la distribution prédite par le modèle et la cible sensible à la distance $p_d$ , et $\alpha$ équilibre les deux termes.

Interprétation Théorique

DIST2Loss est interprété comme la solution sous forme fermée de l'optimisation de politique régularisée par l'entropie. En apprentissage par renforcement (RL), la régularisation par l'entropie encourage l'exploration en empêchant la politique de s'effondrer trop tôt. La politique optimale pour maximiser la récompense espérée avec régularisation par l'entropie est connue pour être proportionnelle à $\exp(R(a)/\tau)$ . DIST2Loss incarne cela en traitant les tokens candidats comme des actions et la distance négative comme un signal de récompense. Contrairement au RL traditionnel, qui nécessite un échantillonnage, des simulations (rollouts) et des mises à jour itératives, DIST2Loss fournit une distribution cible analytique, stable et sans variance, évitant l'instabilité associée aux estimateurs de gradient de politique.

Gestion des Hautes Dimensions et des Séquences Multi-Tokens

Le cadre est suffisamment flexible pour gérer des vecteurs continus de haute dimension (par exemple, les embeddings VQ) en définissant des métriques de distance sur leurs embeddings (par exemple, similarité cosinus). Pour les éléments structurés multi-tokens (comme les nombres à plusieurs chiffres), les auteurs notent que l'application directe de la perte se heurte à un "problème d'attribution de crédit" où le modèle ne peut pas distinguer quel token a causé une erreur. Pour atténuer cela, ils proposent des solutions pratiques telles que l'Augmentation Contrastive de Cible (échantillonnage de voisins négatifs) et le Pondération par Valeur de Position (pondération de la perte par l'importance positionnelle), bien que leurs expériences principales se concentrent sur des tâches où les récompenses se décomposent naturellement au niveau du token.

Contributions Clés

Cadre DIST2Loss : Un objectif plug-and-play qui intègre la structure métrique dans l'entraînement autoregressif discret sans nécessiter de données supplémentaires ni de surcharge computationnelle significative.
Pont Théorique : Établir un lien entre la supervision sensible à la distance et le RL régularisé par l'entropie, offrant une alternative stable au reinforcement learning pour les tâches avec des récompenses par token connues.
Généralisation : Démontrer que la méthode est applicable à travers des domaines divers, allant de la régression scalaire 1D à la génération d'images de haute dimension, à condition que les tokens admettent une métrique significative.

Résultats Expérimentaux

Les auteurs ont évalué DIST2Loss sur cinq domaines distincts, montrant systématiquement des améliorations en termes d'efficacité des données et de performances en aval :

Régression de Fonction Synthétique (Tâche Jouet) : Dans une configuration d'apprentissage méta où les modèles apprennent une régression linéaire à partir de seulement 1 à 10 échantillons, DIST2Loss a nettement surpassé les SFT standard et les baselines contraintes par le vocabulaire en termes d'Erreur Absolue Moyenne (MAE) et d'Erreur Quadratique Moyenne Racine (RMSE), démontrant une généralisation structurelle supérieure.
Ancrage Visuel : En affinant Phi3V sur RefCOCO/RefCOCO+/RefCOCOg sans préentraînement à la détection d'objets, DIST2Loss a atteint des performances comparables aux modèles de l'état de l'art préentraînés sur des ensembles de données de détection à grande échelle. Notamment, même dans les "cas difficiles" où les deux modèles prédisaient le mauvais objet, les prédictions de DIST2Loss étaient géométriquement plus proches de la vérité terrain (IoU plus élevé).
Manipulation Robotique : Sur VIMABench, DIST2Loss a amélioré les taux de réussite de la génération d'actions robotiques (angles d'articulations et coordonnées). Les gains étaient les plus prononcés dans les régimes à faible disponibilité de données (1K échantillons), soulignant la valeur des priors métriques lorsque les données sont limitées.
Modélisation de Récompense Générative : Appliqué à l'alignement des LLM (RLHF), DIST2Loss a amélioré les performances de modélisation de récompense sur RewardBench et MT-Bench. L'approche générative avec DIST2Loss a surpassé à la fois les classificateurs binaires standard et les baselines SFT, en particulier dans les domaines "Chat Hard" et "Safety".
Génération d'Images : En utilisant des représentations vectorielles quantifiées (VQ), DIST2Loss a amélioré l'apprentissage des représentations d'images dans les modèles autoregressifs (LlamaGen), produisant des scores FID plus bas et des scores IS plus élevés par rapport aux baselines SFT à travers différentes tailles de modèles et époques d'entraînement.

Signification et Revendications

L'article revendique que la supervision sensible à la distance offre une alternative simple et générale à la supervision one-hot pour les modèles autoregressifs discrets. La signification réside dans la capacité à :

Exploiter la Structure Intrinsèque : Tirer parti des relations métriques inhérentes à de nombreuses tâches non textuelles (coordonnées, nombres, embeddings) qui sont autrement ignorées par l'entropie croisée standard.
Améliorer l'Efficacité des Données : Obtenir de meilleures performances avec moins d'échantillons d'entraînement en encodant directement des biais inductifs dans la fonction de perte.
Stabiliser l'Entraînement : Fournir une alternative stable et sous forme fermée au reinforcement learning pour l'alignement des récompenses, évitant les problèmes d'échantillonnage et d'instabilité des gradients de politique.

Les auteurs soulignent que la méthode est la plus efficace lorsque les tokens admettent une métrique significative (par exemple, valeurs numériques, coordonnées, embeddings quantifiés). Dans les domaines sans géométrie intrinsèque, la méthode se réduit naturellement à une supervision one-hot standard. Le travail suggère que pour un large éventail de tâches multimodales et de raisonnement, l'intégration de la distance métrique est un composant crucial, mais jusqu'ici sous-utilisé, de l'entraînement des modèles fondamentaux discrets.