🤖 machine learning

LLM REgression with a Latent Iterative State Head

Le papier présente RELISH, une architecture légère et efficace en paramètres qui améliore la régression textuelle sur les grands modèles de langage en prédisant directement des valeurs scalaires via un état latent itératif, surpassant ainsi les méthodes existantes tout en nécessitant une fraction négligeable de paramètres supplémentaires.

Auteurs originaux : Yiheng Su, Matthew Lease

Publié 2026-04-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yiheng Su, Matthew Lease

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un génie littéraire (c'est le modèle de langage ou LLM) qui a lu tous les livres du monde. Ce génie est incroyable pour écrire des histoires, répondre à des questions ou traduire des textes. Mais il y a un problème : si vous lui demandez de vous donner un chiffre précis (par exemple, "Quelle est la qualité de cette traduction ?" sur une échelle de 0 à 100), il a tendance à être un peu maladroit.

C'est là qu'intervient RELISH, la nouvelle méthode présentée dans cet article. Voici une explication simple, avec des images pour mieux comprendre.

1. Le Problème : Le Génie qui parle trop

Actuellement, pour faire des prédictions chiffrées avec ces intelligences artificielles, on utilise deux approches principales, qui ont toutes deux des défauts :

L'approche "Dictée" (Décodage autorégressif) : On demande au génie d'écrire le chiffre mot par mot, comme s'il dictait une réponse à un scribe.
- Le problème : C'est comme demander à un chef cuisinier de vous donner la température exacte d'un four en décrivant la chaleur avec des mots ("il fait chaud", "très chaud"). Il risque de se tromper sur la précision, car il est entraîné à créer du texte, pas à calculer des maths. De plus, écrire le chiffre prend du temps.
L'approche "Moyenne" (Têtes de prédiction classiques) : On prend la "mémoire" du génie (ses représentations internes) et on fait une moyenne rapide pour en tirer un chiffre.
- Le problème : C'est comme essayer de deviner le goût d'un plat complexe en ne goûtant qu'une seule cuillère de sauce. On perd les détails fins. Le génie sait plein de choses, mais cette méthode ne sait pas bien extraire l'information précise dont on a besoin.

2. La Solution RELISH : Le Chef d'Orchestre Iteratif

RELISH (Regression with a Latent Iterative State Head) est une nouvelle méthode qui agit comme un chef d'orchestre très attentif.

Au lieu de faire écrire le chiffre au génie ou de faire une moyenne rapide, RELISH fait ceci :

Il garde le génie "gelé" : Le génie (le modèle de base) ne change pas. Il reste tel quel, ce qui économise énormément d'énergie et de temps.
Il utilise un "Brouillon Intelligent" : RELISH crée un petit état caché (une sorte de post-it virtuel) qui commence vide.
L'itération (Le cœur du système) : C'est la magie. RELISH regarde le texte, puis va voir son "brouillon", puis retourne voir le texte, et ainsi de suite, plusieurs fois de suite.
- L'analogie : Imaginez un détective qui essaie de résoudre une énigme. Au lieu de donner une réponse immédiate, il lit la scène, note une hypothèse, relit la scène avec cette hypothèse en tête, ajuste son hypothèse, et répète le processus jusqu'à ce que la réponse soit parfaite.
- RELISH fait exactement cela : il "affine" sa compréhension du texte à chaque tour, en se concentrant sur les détails importants pour le chiffre final.
Le Résultat : Une fois le "brouillon" parfaitement affiné, il le transforme en un seul chiffre précis.

3. Pourquoi c'est génial ? (Les avantages)

C'est rapide et léger : RELISH est comme un outil de poche plutôt qu'un camion de déménagement. Il n'a besoin que de très peu de paramètres (environ 3,4 à 3,7 millions), ce qui est minuscule comparé aux autres méthodes qui doivent modifier des parties énormes du modèle (comme LoRA, qui est beaucoup plus lourd).
- Image : C'est comme ajouter un petit module GPS à une voiture existante, au lieu de devoir changer tout le moteur.
C'est plus précis : Dans les tests, RELISH a battu toutes les autres méthodes sur 5 différents jeux de données (comme évaluer la similarité entre deux phrases ou la qualité d'une traduction). Il arrive mieux à comprendre les nuances que les méthodes classiques.
C'est flexible : Ça marche aussi bien avec des modèles de taille moyenne (8 milliards de paramètres) que très grands (32 milliards), sans avoir besoin de changer la méthode.

En résumé

Si les modèles de langage actuels sont des encyclopédies vivantes qui savent tout, ils sont souvent mauvais pour donner un chiffre précis sans se tromper.

RELISH est comme un traducteur spécialisé qui ne force pas l'encyclopédie à écrire un chiffre, mais qui lui pose des questions intelligentes, plusieurs fois de suite, pour extraire la réponse exacte qui se cache déjà dans sa tête. C'est plus rapide, moins cher à utiliser, et surtout, beaucoup plus précis.

1. Problématique et Contexte

L'ère des grands modèles de langage (LLM) a unifié la plupart des tâches de traitement du langage naturel (NLP) sous le paradigme "texte-à-texte". Bien que ce paradigme soit idéal pour les tâches génératives (résumé, traduction, Q/R), il est sous-optimal pour les tâches prédictives comme la classification et la régression.

Le problème central réside dans le décalage entre la nature des objectifs :

Tâches génératives : L'objectif est de minimiser l'erreur au niveau des tokens (ex: entropie croisée).
Tâches de régression : L'objectif est de minimiser l'erreur numérique (ex: erreur quadratique moyenne - MSE) sur une valeur scalaire continue.

Les approches existantes pour adapter les LLM à la régression souffrent de limitations majeures :

Décodage autorégressif (Autoregressive Decoding) : Le modèle génère le nombre comme un texte (ex: "3.5"). Cela introduit un bruit de verbalisation et ignore la proximité numérique (l'erreur entre 0.9 et 1.0 est traitée comme une erreur de token, pas une erreur numérique).
Inférence consciente de la régression (Regression-Aware Inference) : Méthodes comme RAIL/RAFT qui tentent de calculer l'espérance mathématique de la distribution de sortie. Bien que plus précises, elles sont coûteuses en calcul (nécessitent de multiples échantillages ou énumérations) et restent limitées par la nature textuelle de la distribution sous-jacente.
Têtes prédictives (Predictive Heads) : Des méthodes qui lisent directement les représentations internes du LLM pour prédire un scalaire. Cependant, les approches actuelles reposent sur des heuristiques de pooling simples (moyenne des hidden states), ce qui entraîne une perte d'informations fines nécessaires à la régression précise.

2. Méthodologie : RELISH

Les auteurs proposent RELISH (REgression with a Latent Iterative State Head), une architecture légère conçue pour prédire des valeurs scalaires directement à partir des représentations d'un LLM figé (frozen), sans générer de texte.

Architecture clé :
Au lieu d'un simple pooling statique, RELISH introduit un mécanisme d'état latent itératif :

Représentation d'entrée : Le LLM figé encode l'entrée textuelle $x$ en états cachés $H(x)$ .
État Latent Initial : Un vecteur d'état latent $r^{(0)}$ est appris (initialisé aléatoirement).
Raffinement Itératif (Cross-Attention) : L'état latent est mis à jour itérativement $L$ $L$ fois. À chaque étape $i$ $i$ , l'état $r^{(i-1)}$ $r^{(i - 1)}$ agit comme une requête (query) dans un mécanisme d'attention croisée (Cross-Attention) sur les représentations des tokens $H(x)$ $H (x)$ (clés et valeurs).
- Cela permet au modèle de "creuser" activement dans les représentations du LLM pour extraire les signaux pertinents pour la régression, plutôt que de simplement moyenner toute l'information.
- La mise à jour utilise des blocs résiduels de type Transformer (LayerNorm, Multi-Head Attention, FFN).
Régression Linéaire : L'état latent final $r^{(L)}$ est projeté sur un scalaire via une régression linéaire simple ( $\hat{y} = w^T r^{(L)} + b$ ).

Efficacité :

Le backbone du LLM reste figé (frozen).
Seuls les paramètres de la tête RELISH sont entraînés (projection, état latent, blocs de raffinement, régression linéaire).
L'inférence se fait en un seul passage (single-pass), contrairement aux méthodes d'échantillonnage multiples.

3. Contributions Clés

Nouvelle Architecture de Tête Prédictive : Introduction d'un mécanisme de raffinement itératif par attention croisée pour résumer les représentations de tokens, surpassant les méthodes de pooling statique (moyenne, [CLS]).
Comparaison Unifiée : Une évaluation exhaustive comparant les trois familles de méthodes (décodage autorégressif, inférence consciente, têtes prédictives) sur 5 jeux de données, 4 backbones de LLM (de 8B à 32B) et différents régimes d'entraînement (figé vs LoRA).
Efficacité Paramétrique Exceptionnelle : RELISH nécessite seulement ~3,4 à 3,7 millions de paramètres entraînables, quelle que soit la taille du LLM sous-jacent. Cela représente une surcharge de seulement 0,01 % à 0,04 %, bien inférieur aux méthodes LoRA/RAFT qui augmentent avec la taille du modèle (0,26 % à 0,42 %).

4. Résultats Expérimentaux

Les expériences ont été menées sur :

Données : Similarité textuelle sémantique (STS-B, SICK-R) et estimation de la qualité de traduction (WMT EN-ZH, RU-EN, SI-EN).
Modèles : Llama 3.1 8B, Qwen3 8B/32B, Gemma 3 27B.

Performances :

Précision : RELISH surpasse systématiquement tous les baselines (y compris les méthodes LoRA + RAFT, l'état de l'art précédent).
- Par rapport à la 2ème meilleure méthode (RAFT), RELISH améliore la corrélation de Pearson de 6,7 %, la corrélation de Spearman de 7,2 % et réduit l'erreur RMSE normalisée de 19,9 %.
Robustesse : Les gains sont constants sur tous les backbones et jeux de données. Contrairement à d'autres méthodes qui peuvent dégrader les performances par rapport au "zero-shot" dans certains cas, RELISH améliore toujours le résultat.
Analyse des ablations :
- Le raffinement itératif est crucial : une seule étape d'attention ( $L=1$ ) est bonne, mais $L \ge 2$ apporte des gains significatifs.
- L'architecture est plus importante que la simple capacité paramétrique : RELISH bat des MLP (Perceptron Multicouche) ayant le même nombre de paramètres.

5. Signification et Impact

Ce travail démontre que pour les tâches de régression sur les LLM, l'extraction efficace d'informations des représentations internes est plus critique que l'adaptation massive des paramètres du modèle (via LoRA) ou la génération de texte.

Paradigme de changement : Il suggère que les LLM figés contiennent déjà les signaux de régression nécessaires, mais qu'ils sont noyés dans le bruit du "pooling" statique ou de la génération textuelle. RELISH agit comme un mécanisme de débruitage et d'agrégation adaptatif.
Évolutivité : La méthode est particulièrement pertinente pour les grands modèles (32B+), où les méthodes LoRA deviennent coûteuses en mémoire et en calcul, tandis que RELISH reste léger et constant.
Applications potentielles : Au-delà de la régression pure, cette approche est prometteuse pour le Reward Modeling (modélisation de la récompense), l'estimation de la confiance (confidence estimation), et le rôle de "Juge" pour les LLM (LLM-as-a-Judge), où des scores scalaires précis sont requis sans le coût de la génération de texte.

En résumé, RELISH offre une solution élégante, rapide et extrêmement économe en paramètres pour transformer les LLM en régresseurs de haute précision, en remplaçant la génération textuelle par une interrogation itérative des représentations latentes.