💬 NLP

ProactiveLLM: Learning Active Interaction for Streaming Large Language Models

ProactiveLLM führt ein neuartiges Framework für das Streaming großer Sprachmodelle ein, das aktive Interaktionsentscheidungen durch die Nutzung endogener semantischer Hinweise auf Hinlänglichkeit ermöglicht, welche durch maskierungsbasiertes Streaming-Modelling und synchronisierte privilegierte Selbst-Distillation erlernt werden, wodurch Latenz und Rechenaufwand reduziert werden, ohne auf externe Alignmentsignale angewiesen zu sein.

Ursprüngliche Autoren: Junlong Tong, Yao Zhang, Anhao Zhao, Yingqi Fan, Yunpu Ma, Xiaoyu Shen

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junlong Tong, Yao Zhang, Anhao Zhao, Yingqi Fan, Yunpu Ma, Xiaoyu Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Gespräch mit einem sehr klugen, aber etwas starren Freund zu führen.

Der alte Weg: Der „Warte, bis ich fertig bin“-Freund
Standard-Large-Language-Models (LLMs) sind wie dieser Freund, der darauf besteht, deine ganze Geschichte zu hören, bevor er auch nur ein Wort sagt. Du erzählst ihm eine Geschichte über deinen Tag, und er sitzt einfach nur da, nimmt jedes Detail auf und hört zu, bis du schließlich sagst: „Das war’s.“ Erst dann beginnt er zu sprechen.

Das Problem: Das ist langsam. Wenn du ein Video streamst oder einen Echtzeit-Chat führst, fühlt es sich so an, als würde man gegen eine Wand reden, wenn man warten muss, bis alles fertig ist. Es verschwendet zudem Gehirnkapazität, denn er hat die Antwort vielleicht schon nach dem ersten Satz bereits im Kopf, zwingt sich aber selbst dazu, die ganze einstündige Geschichte anzuhören.

Die aktuellen „Streaming“-Versuche: Der „Feste-Zeitintervall“-Freund
Einige neuere Modelle versuchen, schneller zu sein. Sie beginnen zu sprechen, während du noch sprichst. Aber sie sind etwas tollpatschig. Meistens folgen sie einer strengen Regel, wie zum Beispiel: „Ich höre genau 5 Wörter zu, dann sage ich etwas. Dann höre ich weitere 5 Wörter zu, dann sage ich etwas.“

Das Problem: Das ist wie ein Roboter mit einem Metronom. Manchmal reichen 5 Wörter aus, um die Antwort zu kennen, aber der Roboter wartet auf weitere 5. Ein anderes Mal braucht man 50 Wörter, um den Witz zu verstehen, aber der Roboter spricht zu früh ein und sagt etwas Albernes. Um dies zu beheben, müssen Ingenieure meistens diese Regeln manuell programmieren oder teure „Lehrer“ einsetzen, die dem Modell genau sagen, wann es sprechen soll.

Die neue Lösung: ProactiveLLM (Der „Intuitive“ Freund)
Dieses Paper stellt ProactiveLLM vor, ein Modell, das lernt, auf sein eigenes „Bauchgefühl“ (interne Zustände) zu hören, um zu entscheiden, wann es spricht. Anstatt einem Timer oder einer manuellen Regel zu folgen, lernt es, sich selbst die Frage zu stellen: „Habe ich gerade genug Informationen, um eine gute Antwort zu geben?“

So lernt es, so intuitiv zu werden, indem es zwei clevere Trainings-Tricks anwendet:

1. Das „Augenbinden-Spiel“ (Masked Streaming Modeling)

Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie das Ende einer Geschichte erraten müssen, aber Sie dürfen immer nur ein paar zufällige Sätze gleichzeitig sehen.

Wie es funktioniert: Während des Trainings wird dem Modell eine Geschichte gezeigt, aber Teile davon sind ausgeblendet (maskiert). Das Modell muss lernen, die Handlung zu verstehen und vorherzusagen, was als Nächstes kommt, basierend nur auf den Fragmenten, die es sehen kann.
Das Ergebnis: Dies zwingt das Modell dazu, ein Experte darin zu werden, „Hinweise“ zu erkennen. Es lernt, genau den Moment zu erkennen, in dem die Hinweise, die es gesehen hat, ausreichen, um eine sichere Vermutung anzustellen, ohne das ganze Buch lesen zu müssen.

2. Der „Selbstreflexions“-Trick (Synchronized Privileged Self-Distillation)

Normalerweise braucht man, um einen Schüler klug zu machen, einen Lehrer, der die ganze Geschichte kennt. Aber hier lehrt sich das Modell selbst.

Wie es funktioniert: Das Modell lässt zwei Versionen seiner selbst gleichzeitig laufen:
- Der Schüler: Sieht nur die Teilgeschichte (den Stream).
- Der Lehrer: Sieht die gesamte Geschichte (den vollen Kontext).
- Der „Lehrer“ (welcher eigentlich dasselbe Modell ist, das nur mit mehr Daten arbeitet) flüstert dem „Schüler“ die richtige Antwort zu. Der Schüler versucht, das Vertrauen des Lehrers mithilfe der begrenzten Hinweise zu erreichen.
Das Ergebnis: Das Modell lernt, seinen eigenen internen Signalen zu vertrauen. Es erkennt: „Ah, wenn ich diese spezifischen Wörter sehe, entspricht mein internes Vertrauen dem dessen, was ich sagen würde, wenn ich alles wüsste.“ Dies verlei-t ihm einen eingebauten „Zufriedenheits-Detektor“ (Sufficiency Detector).

Der „Plug-and-Play“-Entscheidungskopf

Sobali das Modell dieses interne „Bauchgefühl“ besitzt, fügt das Paper einen einfachen Schalter (einen Decision Head) hinzu, der wie eine Ampel fungiert.

Grünes Licht (Schreiben): Das interne Vertrauen des Modells ist hoch. Es spricht!
Rotes Licht (Lesen): Das Modell ist noch verwirrt. Es hört weiter zu.
Warum das cool ist: Man kann diesen Entscheidungskopf gegen andere Typen austauschen (z. B. einen, der darauf achtet, wie „überrascht“ das Modell ist, oder einen, der betrachtet, wie viel Aufmerksamkeit es gerade widmet). Das Modell selbst muss nicht neu trainiert werden; es benötigt lediglich eine neue Ampel.

Die Ergebnisse: Schneller und Schlauer

Das Paper testete dies bei Texten (wie der Übersetzung von Sprachen oder dem Beantworten von Fragen) und Sprache (wie der Transkription von Audio).

Der Gewinn: ProactiveLLM spricht viel schneller als die alten „Warte-bis-zum-Ende“-Modelle.
Die Qualität: Es opfert dabei nicht die Qualität. Tatsächlich schneidet es bei schwierigen Fragen, bei denen die Antwort nicht in der Reihenfolge der Wörter erscheint (nicht-monotone Aufgaben), fast so gut ab wie die langsamen Full-Context-Modelle, nutzt dabei aber nur etwa 78 % des Inputs.
Die Analogie: Es ist wie ein Detektiv, der einen Krimi löst, nachdem er das entscheidende Beweisstück gefunden hat, anstatt zu warten, bis der gesamte Polizeibericht geschrieben ist, bevor er zu einem Schluss kommt.

Kurz gesagt: ProactiveLLM lehrt die KI, nicht mehr auf die Erlaubnis zu warten, sondern darauf zu vertrauen, wann sie genug gehört hat, um zu sprechen. Es macht Streaming-Gespräche natürlich, reaktionsschnell und effizient.

Technisches Resümee: ProactiveLLM

Problemstellung

Standardmäßige Large Language Models (LLMs) operieren unter einem „Read-then-Generate“-Paradigma, welches die Aufnahme des vollständigen Inputs erfordert, bevor die Generierung beginnt. Dieser Ansatz führt zu signifikanter Latenz und computationaler Redundanz in Echtzeit-Streaming-Szenarien (z. B. Audio- und Videostreams). Während bestehende Streaming-LLMs versuchen, während des Erhalts von Inputs zu generieren, haben sie Schwierigkeiten, den optimalen Zeitpunkt für die Interaktion zu bestimmen. Aktuelle Methodologien stützen sich entweder auf:

Hard-coded Heuristiken: Feste Interaktionsintervalle (z. B. Wait- $k$ ), welche den semantischen Inhalt des Streams ignorieren.
Kostspielige externe Supervision: Das Erlernen von Interaktionszeitpunkten aus aufgabenspezifischen Alignment-Signalen, wie Zeitstempeln, Reasoning-Trajektorien oder stärkeren Teacher-Modellen, welche schwer zu beschaffen sind und oft ein Retraining für verschiedene Aufgaben oder Modalitäten erfordern.

Diese Ansätze zwingen Modelle dazu, passive Befolger vordefinierter Regeln oder externer Signale zu sein, wodurch sie nicht in der Lage sind, dynamisch auf schwankende Informationsdichten zu reagieren. Infolgedessen generieren Modelle vorzeitig (was Halluzinationen verursacht) oder warten unnötig (was die Latenz erhöht), selbst wenn Teilkontexte bereits ausreichende semantische Hinweise enthalten.

Methodik: ProactiveLLM

Das Paper schlägt ProactiveLLM vor, ein Framework, das Streaming-LLMs von der passiven Anpassung zur aktiven Interaktion führt. Die Kerninnovation besteht darin, dem Modell zu ermöglichen, Interaktionsentscheidungen basierend auf seinen eigenen endogenen Zuständen (intrinsische semantische Hinlänglichkeit) statt auf externen Annotationen zu treffen.

1. Architektur und Backbone

ProactiveLLM basiert auf einem auf Streaming adaptierten LLM-Backbone (unter Verwendung von Group Positional Encoding, um Input- und Output-Positionsindizes zu entkoppeln). Es unterstützt sowohl Text- als auch Sprachmodalitäten (letztere unter Verwendung eines kausal maskierten Whisper-Encoders). Das Framework verwendet ein dekoppliertes „Endogenous Training and Explicit Decision“-Paradigma:

Trainingsphase: Kultiviert die Fähigkeit des Modells, semantische Grenzen wahrzunehmen.
Inferenzphase: Verwendet einen Plug-and-Play Decision Head, um interne Zustände in explizite „Read“- oder „Write“-Aktionen zu übersetzen.

2. Proaktives Streaming-Trainingsframework

Um das Modell zu lehren, wann ein Teilkontext ausreichend ist, führen die Autoren zwei komplementäre Trainingsmechanismen ein:

Masked Streaming Language Modeling (MSLM):
- Simuliert die monotone Sichtbarkeit von Streaming-Inputs durch das Anwenden von randomisierten kausalen Masken auf zukünftige Input-Token während des Trainings.
- Im Gegensatz zum Standard-BERT-Style-Masking erzwingt dies eine monotone Beschränkung, bei der der sichtbare Kontext über die Zeit wächst.
- Um zu verhindern, dass das Modell degenerative Zustände lernt (z. B. Generierung mit vernachlässigbarem Kontext), setzen die Autoren eine polynomial-verzerrte multinomiale Allokation ein. Dies beschränkt die Random-Masking-Prozesse so, dass sie einer realistischen „Lese-Budget“-Verteilung folgen, wodurch sichergestellt wird, dass das Modell lernt, unter plausiblen, stabilen Streaming-Trajektorien statt unter chaotischem Rauschen zu operieren.
Synchronized Privileged Self-Distillation (SPSD):
- Adressiert die Lücke zwischen der Antizipation von Teilkontexten und der Verifizierung durch den Vollkontext ohne externe Lehrer.
- Dasselbe evolvierende Modell fungiert sowohl als Student (Streaming-Modus, sieht Teilkontext) als auch als Teacher (Batch-Modus, sieht Vollkontext).
- Die prädiktive Verteilung des Studenten wird via KL-Divergenz-Loss weich mit den Logits des Teachers (Vollkontext) abgeglichen. Dies bietet „privilegierte“ semantische Führung, die den Wissensstand des Studenten an der robusten Vollkontext-Verteilung verankert, während gleichzeitig die notwendige Varianz für proaktive Antizipation ermöglicht wird.

3. Aktive Interaktionsentscheidung

Sobald es trainiert ist, besitzt das Modell ein intrinsisches Bewusstsein für semantische Hinlänglichkeit. Ein Plug-and-Play Decision Head nutzt diese internen Signale, um den Zeitpunkt der Interaktion zu bestimmen. Das Paper schlägt zwei spezifische Strategien vor:

Attention-getrieben: Überwacht die kumulativen Attention-Gewichte auf den Input-Stream. Disperse Attention triggert ein „Read“, während scharfer Fokus ein „Write“ triggt.
Entropie-getrieben: Evaluiert die Shannon-Entropie der prädizierten Token-Verteilung. Hohe Entropie (Unsicherheit) triggert „Read“; niedrige Entropie (hohe Konfidenz) triggert „Write“.

Zentrale Beiträge

ProactiveLLM Framework: Ein neuartiger Ansatz, der die Generierung von LLMs in Streaming-Szenarien von einer extern verankerten passiven Anpassung hin zu proaktiver Interaktion verschiebt und somit die Notwendigkeit externer Alignment-Annotationen eliminiert.
Endogene Trainingsmechanismen: Die Einführung von Masked Streaming Language Modeling und Synchronized Privileged Self-Distillation, um Teil-zu-Voll-Abhängigkeitssignale und Hinweise auf semantische Hinlänglichkeit direkt aus den eigenen Zuständen des Modells zu kultivieren.
Plug-and-Play Adaptivität: Eine entkoppelte Architektur, die es ermöglicht, diverse Decision Heads (attention-basiert, entropie-basiert oder sogar regelbasiert) ohne Retraining des Backbones zu integrieren, validiert über Text- und Sprachmodalitäten hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten ProactiveLLM in Text- und Sprach-Streaming-Aufgaben, einschließlich maschineller Übersetzung (monoton), Zusammenfassung und Fragebeantwortung (nicht-monoton).

Performance vs. feste Intervalle: In nicht-monotonen Aufgaben (z. B. Choice QA) übertraf ProactiveLLM die Fixed-Interval-Baselines (Wait- $k$ ) signifikant. Beispielsweise behielt es bei Choice QA 97,16 % der Offline-Batch-Performance-Obergrenze bei, während es nur 78 % des Input-Kontexts konsumierte, was die Interaktionslatenz (gemessen als Average Interaction Lag, AIL) um 21,6 % reduzierte.
Performance vs. lernbasierte Baselines: Im Vergleich zu Methoden, die auf teuren externen Alignment-Daten basieren (z. B. Nutzung von GPT-5.4 oder Qwen3-32B als Lehrer), erreichte ProactiveLLM überlegene F1-Scores in nicht-monotonen QA-Aufgaben, ohne separate Datenerstellung oder Retraining für unterschiedliche Latenzniveaus zu benötigen.
Effizienz: Das Framework demonstrierte eine reduzierte kognitive Redundanz (gemessen als Read Coverage per Output token, RCO) und eine geringere absolute End-to-End-Latenz im Vergleich zur Batch-Verarbeitung.
Ablationsstudien: Das Entfernen von entweder MSLM oder SPSD führte zu einer Leistungsdegradierung, was bestätigt, dass beide Komponenten essenziell sind, um die Qualität unter Latenzbeschränkungen aufrechtzuerhalten.

Bedeutung und Ansprüche

Das Paper behauptet, dass ProactiveLLM die kritische Herausforderung des Interaktions-Timings in Streaming-LLMs adressiert, indem es Modellen ermöglicht, semantische Hinlänglichkeit dynamisch basierend auf internen Zuständen zu bewerten.

Skalierbarkeit: Durch die Entfernung der Abhängigkeit von externen Lehrern, Timing-Labels oder kostspieligen Reasoning-Trajektorien bietet das Framework eine praktische Cold-Start-Lösung für die Entwicklung responsiver Streaming-LLMs.
Vielseitigkeit: Das entkoppelte Design erlaubt es, dass dasselbe trainierte Backbone verschiedene Interaktions-Policies unterstützt, was es ohne architektonische Änderungen an diverse Downstream-Bedürfnisse anpassbar macht.
Effizienz-Qualitäts-Trade-off: Die Arbeit zeigt, dass aktive Interaktion ein überlegenes Gleichgewicht zwischen Latenz und Generationsqualität erreichen kann, insbesondere in komplexen, nicht-monotonen Szenarien, in denen starre Regeln versagen.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz eine vielseitige Grundlage für die Entwicklung reaktionsschnellerer und effizienterer KI-Systeme in Echtzeit bietet und den Weg für zukünftige Optimierungen via Reinforcement Learning oder Preference Tuning ebnet.