🤖 machine learning

LLM REgression with a Latent Iterative State Head

Die Arbeit stellt RELISH vor, eine leichte Architektur, die durch iterative Verfeinerung eines latenten Zustands über eingefrorene LLM-Repräsentationen direkte und parameter-effiziente Textregression ermöglicht und dabei bestehende Baselines übertroffen hat.

Ursprüngliche Autoren: Yiheng Su, Matthew Lease

Veröffentlicht 2026-04-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yiheng Su, Matthew Lease

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen extrem intelligenten, aber sehr sturen Bibliothekar. Dieser Bibliothekar (das Large Language Model oder LLM) hat Millionen von Büchern gelesen und kann Fragen beantworten, Geschichten erfinden und Texte übersetzen. Er ist ein Meister darin, Wörter zu produzieren.

Das Problem: Manchmal willst du nicht, dass er einen Text schreibt. Du willst eine Zahl. Zum Beispiel: "Wie ähnlich sind diese beiden Sätze?" (Antwort: 4,2 von 5) oder "Wie gut ist diese Übersetzung?" (Antwort: 87 von 100).

Bisher gab es drei Hauptwege, wie man diesen Bibliothekar dazu gebracht hat, Zahlen zu nennen – und alle hatten ihre Tücken. Die neue Methode namens RELISH (von den Autoren Yiheng Su und Matthew Lease) ist wie ein genialer neuer Assistent, der den Bibliothekar endlich richtig versteht, ohne ihn zu überfordern.

Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der Bibliothekar denkt in Wörtern, nicht in Zahlen

Stell dir vor, du fragst den Bibliothekar: "Wie ähnlich sind diese Sätze? Gib mir eine Zahl."

Der alte Weg (Autoregressives Decodieren): Der Bibliothekar versucht, die Zahl wie ein Wort zu buchstabieren. Er denkt: "Okay, ich muss das Wort '4' sagen, dann ein Punkt, dann '2'." Das Problem ist: Für ihn ist "4,2" einfach eine Abfolge von Buchstaben. Er weiß nicht wirklich, dass 4,2 näher an 4,3 ist als an 1,0. Es ist wie wenn er versucht, ein mathematisches Problem zu lösen, indem er nur die richtigen Buchstaben aneinanderreiht. Das funktioniert oft okay, aber es ist ungenau und langsam.
Der zweite Weg (Regression-aware Inference): Hier lässt man den Bibliothekar 16 verschiedene Versionen der Antwort raten und rechnet dann den Durchschnitt. Das ist wie wenn man 16 Leute fragt und den Mittelwert nimmt. Das ist genauer, aber es dauert ewig und kostet viel Energie (Rechenleistung).
Der dritte Weg (Predictive Heads): Man baut einen kleinen, einfachen Rechner direkt an den Bibliothekar an. Aber bisher war dieser Rechner sehr dumm. Er nahm einfach alle Informationen aus dem Kopf des Bibliothekars, mischte sie wie einen großen Suppentopf zusammen (durchschnittliche Pooling) und gab eine Zahl aus. Dabei ging viel feine Information verloren.

2. Die Lösung: RELISH – Der "Nachdenkliche" Assistent

RELISH ist wie ein neuer, schlauer Assistent, der direkt neben dem Bibliothekar sitzt. Er macht Folgendes:

Er hört genau hin: Statt den Bibliothekar zu zwingen, eine Zahl zu "schreiben" (was ihn verwirrt), schaut sich RELISH an, was der Bibliothekar im Inneren denkt. Der Bibliothekar hat für jeden Teil des Satzes ein Gefühl (eine "Repräsentation").
Er sucht gezielt: Anstatt alles in einen Topf zu werfen, hat RELISH einen kleinen, leeren "Gedanken-Zettel" (einen latenten Zustand).
Iteratives Nachdenken (Das Herzstück): RELISH schaut sich den Gedanken-Zettel an, dann schaut er sich die Informationen des Bibliothekars an und sagt: "Hmm, dieser Teil hier ist wichtig für die Ähnlichkeit." Er schreibt etwas auf den Zettel. Dann macht er das noch ein paar Mal (etwa 3-mal).
- Die Analogie: Stell dir vor, du versuchst, das Gewicht eines Pakets zu schätzen.
  - Der alte Weg (Pooling) wäre: Du wirfst das Paket in die Luft und fängst es auf. Du hast eine grobe Ahnung.
  - RELISH ist: Du nimmst das Paket, wiegst es, schaust dir die Verpackung an, wiegst es nochmal, prüfst den Inhalt und wiegst es ein drittes Mal. Mit jedem Schritt wird deine Schätzung genauer, ohne dass du das Paket selbst neu bauen musst.
Das Ergebnis: Am Ende hat RELISH einen perfekten, zusammengefassten Gedanken, aus dem er eine präzise Zahl ableitet.

3. Warum ist RELISH so toll?

Es ist extrem leicht: Der Bibliothekar (das große Modell) bleibt unverändert ("eingefroren"). RELISH fügt nur einen winzigen neuen Teil hinzu.
- Vergleich: Wenn der Bibliothekar ein riesiges Schloss ist, ist LoRA (eine andere beliebte Methode) wie ein riesiger Anbau, der mit dem Schloss wächst. RELISH ist wie ein kleiner, cleverer Schlüssel, der immer gleich groß ist, egal wie riesig das Schloss ist. Es spart enorm viel Speicherplatz und Rechenzeit.
Es ist genauer: Weil RELISH die feinen Details im Kopf des Bibliothekars besser findet als die alten "Suppen-Methoden", macht es weniger Fehler. In Tests hat es fast immer besser abgeschnitten als alle anderen Methoden.
Es ist schnell: Es braucht keine 16 Versuche wie der zweite Weg. Es liest den Text einmal, denkt dreimal nach und gibt die Zahl aus.

Zusammenfassung

RELISH ist wie ein Übersetzer, der nicht versucht, die Sprache des Bibliothekars (Wörter) zu kopieren, sondern direkt die Gedanken des Bibliothekars liest und sie in eine präzise Zahl verwandelt.

Alt: "Schreib mir die Zahl 4,2 als Wort." (Verwirrend, ungenau).
Alt 2: "Rate 16 Mal und nimm den Durchschnitt." (Langsam, teuer).
Alt 3: "Fasse alles zusammen und gib eine Zahl aus." (Zu grob, verliert Details).
RELISH: "Schau dir die Details an, überlege dreimal, was wirklich wichtig ist, und gib mir dann die perfekte Zahl." (Schnell, präzise, sparsam).

Die Autoren zeigen, dass man mit diesem kleinen, cleveren Trick viel bessere Ergebnisse erzielen kann, ohne das riesige Gehirn des LLM neu trainieren zu müssen. Es ist ein Paradebeispiel dafür, wie man mit wenig Aufwand (wenige neue Parameter) große Verbesserungen erreicht.

1. Problemstellung

Die Arbeit adressiert die Herausforderung, Large Language Models (LLMs) für Text-Regressionsaufgaben zu nutzen, bei denen das Ziel eine kontinuierliche numerische Skalarzahl (z. B. Ähnlichkeitswerte, Qualitätsbewertungen) ist, anstatt eines Textes.

Das etablierte „Text-to-Text"-Paradigma von LLMs ist für solche Aufgaben suboptimal, da:

Diskrepanz zwischen Token-Wahrscheinlichkeit und numerischer Nähe: LLMs werden durch Next-Token-Vorhersage trainiert. Ein Modell, das das Ziel „1,0" vorhersagt, bestraft „0,1" und „0,9" gleich stark (als unterschiedliche Tokens), obwohl „0,9" numerisch näher am Ziel liegt.
Ineffizienz bestehender Ansätze:
- Autoregressive Decodierung: Generiert Zahlen als Textstrings, was zu Fehlern bei der Parsing und einer mangelnden Berücksichtigung numerischer Nachbarschaft führt.
- Regression-aware Inference (z. B. RAIL): Versucht, die numerische Diskrepanz durch Bayes'sche Entscheidungsregeln zu korrigieren, erfordert aber oft das Sampling vieler Ausgaben, was die Inferenzkosten drastisch erhöht.
- Predictive Heads (Vorhersageköpfe): Umgehen die Textgenerierung, nutzen aber oft einfache Pooling-Heuristiken (z. B. Mittelwertbildung), die feine, für die Regression relevante Informationen in den Token-Repräsentationen verwässern.

2. Methodik: RELISH

Die Autoren stellen RELISH (REgression with a Latent Iterative State Head) vor, eine neue, leichte Architektur, die eine direkte Regression aus den eingefrorenen (frozen) LLM-Repräsentationen ermöglicht.

Kernkomponenten:

Eingabe: Das LLM (Backbone) bleibt eingefroren. Es verarbeitet den Eingabetext und liefert die Token-Level-Hidden-States $H(x)$ .
Latenter Zustand: RELISH führt einen lernbaren latenten Zustand $r^{(0)}$ ein.
Iterative Verfeinerung (Cross-Attention): Anstatt die Token-States statisch zu mitteln, wird der latente Zustand über $L$ Schritte iterativ verfeinert. In jedem Schritt $i$ wird der Zustand $r^{(i-1)}$ mittels Cross-Attention über die Token-Repräsentationen $X(x)$ aktualisiert:
$r^{(i)} = \text{Refine}(r^{(i-1)}, X(x))$
Dies geschieht durch Transformer-Blöcke mit Multi-Head-Attention (wobei der latente Zustand als Query und die Token-States als Key/Value dienen) und Feed-Forward-Netzen.
Ausgabe: Der finale verfeinerte Zustand $r^{(L)}$ wird über einen linearen Regressor in eine Skalarzahl $\hat{y}$ umgewandelt.
Training: Es werden nur die Parameter des Heads (Projektionsmatrix, latenter Zustand, Refinement-Blöcke, linearer Regressor) trainiert, typischerweise mit dem Huber-Loss auf normalisierten Zielwerten.

Unterschied zu bestehenden Methoden:
RELISH ersetzt die starre Extraktion (wie Mean-Pooling oder Indexierung eines spezifischen Tokens) durch einen dynamischen, iterativen Mechanismus, der gezielt regression-relevante Informationen aus den Token-Repräsentationen „herausfiltert" und zusammenfasst.

3. Hauptbeiträge

Neue Architektur: Einführung von RELISH als leichter, aber ausdrucksstarker Predictive Head, der iterative latente Zustandsverfeinerung nutzt.
Umfassender Vergleich: Eine einheitliche konzeptionelle und empirische Analyse der drei Hauptfamilien der LLM-Regression (Autoregressiv, Regression-aware, Predictive Heads) über fünf Datensätze, vier verschiedene LLM-Backbones (8B bis 32B Parameter) und zwei Trainingsregime (frozen vs. LoRA).
Effizienz: Demonstration, dass RELISH nicht nur leistungsfähiger ist, sondern auch extrem parameter-effizient bleibt, ohne die Inferenzgeschwindigkeit zu beeinträchtigen.

4. Ergebnisse

Die Evaluation umfasste Datensätze für semantische Textähnlichkeit (STS-B, SICK-R) und maschinelle Übersetzungsqualität (WMT).

Vorhersageleistung: RELISH übertrifft konsistent alle State-of-the-Art-Baselines (einschließlich autoregressiver Decodierung, RAIL, RAFT und einfache MLPs) über alle getesteten LLMs und Datensätze hinweg.
- Im Vergleich zur zweitbesten Methode (RAFT) verbesserte RELISH die Pearson-Korrelation um 6,7 %, die Spearman-Korrelation um 7,2 % und den range-normalisierten RMSE um 19,9 %.
Parameter-Effizienz:
- RELISH benötigt nur ~3,4–3,7 Millionen trainierbare Parameter, unabhängig von der Größe des LLM-Backbones (da die Komplexität von der Hidden-Size des Heads abhängt, nicht von der Gesamtgröße des LLMs).
- Dies entspricht einem Overhead von nur 0,01–0,04 % der Gesamtparameter des LLMs.
- Zum Vergleich: LoRA-basierte Alternativen skalieren mit der Modellgröße und benötigen 0,26–0,42 % (ca. 6- bis 37-mal mehr Parameter).
Inferenzgeschwindigkeit: Da RELISH einen Single-Pass-Ansatz ohne Sampling oder Textgenerierung verwendet, ist es in der Inferenz genauso effizient wie einfache Predictive Heads und deutlich schneller als regression-aware Methoden, die Sampling erfordern.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass das Hauptproblem bei der Regression mit LLMs nicht unbedingt das Fehlen von numerischem Wissen im Modell ist, sondern die suboptimale Extraktion dieser Informationen.

Architektonischer Vorteil: Die iterativen Verfeinerungsschritte von RELISH lösen das „Zusammenfassungs-Problem" (Summarization Bottleneck) einfacher Pooling-Methoden, indem sie es dem Modell erlauben, kontextabhängig und schrittweise die relevanten Signale aus den Token-Repräsentationen zu isolieren.
Praktische Relevanz: RELISH bietet eine Lösung, die die hohe Genauigkeit von aufwendigen Sampling-Methoden mit der Effizienz einfacher Heads kombiniert. Dies macht es ideal für Anwendungen wie Reward Modeling, LLM-as-a-Judge (Bewertung von Modellantworten) und Konfidenzschätzung, wo schnelle und präzise numerische Vorhersagen entscheidend sind.

Zusammenfassend etabliert RELISH einen neuen Standard für Text-Regression mit LLMs, der sowohl in der Leistung als auch in der Ressourceneffizienz über bestehende Methoden hinausgeht.