💬 NLP

AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task

Dieses Paper stellt AlignAtt4LLM vor, ein neuartiges simultanes Sprachtranslationssystem, das die AlignAtt-Policy für Decoder-only-LLMs durch den Einsatz von Forced Alignment, selektiver Attention-Head-Auswahl sowie Query/Key-Capture anpasst und damit State-of-the-Art-Ergebnisse für die Englisch-Deutsch- und Englisch-Italienisch-Übersetzung auf dem IWSLT 2026 Development Set erzielt.

Ursprüngliche Autoren: Quentin Fuxa, Dominik Macháček

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Quentin Fuxa, Dominik Macháček

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Echtzeit-Übersetzungs-Staffellauf

Stellen Sie sich einen Staffellauf vor, bei dem zwei Läufer einen Stab hin und her reichen, um eine Live-Rede von Englisch nach Deutsch, Italienisch oder Chinesisch zu übersetzen.

Läufer 1 (Der Zuhörer): Dies ist eine KI, die dem Audio zuhört und in Echtzeit aufschreibt, was sie hört.
Läufer 2 (Der Übersetzer): Dies ist eine leistungsstarke KI, die das liest, was der Zuhörer aufgeschrieben hat, und es in die Zielsprache übersetzt.

Die Herausforderung? Der Zuhörer hört die Rede noch, während der Übersetzer bereits schreibt. Wenn der Übersetzer zu früh mit dem Schreiben beginnt, könnte er falsch raten und müsste seine Arbeit wieder löschen (was für das Publikum unordentlich aussieht). Wenn er zu lange wartet, hinkt die Übersetzung dem Sprecher hinterher.

Dieses Paper stellt ein neues System vor, AlignAtt4LLM, das wie ein schlauer Schiedsrichter zwischen diesen beiden Läufern fungiert. Er sagt dem Übersetzer genau, wann es sicher ist, sich auf ein Wort festzulegen, und wann er auf weitere Informationen warten sollte.

Das Problem: Der „Black Box“-Übersetzer

In der Vergangenheit wurden Übersetzungssysteme wie eine Fabrik mit zwei getrennten Räumen gebaut: einem für das Verstehen (Encoder) und einem für das Sprechen (Decoder). Der „Schiedsrichter“ konnte leicht in die Fabrik hineinspähen, um zu sehen, wie die beiden Räume miteinander kommunizierten, um zu entscheiden, wann gesprochen werden sollte.

Moderne KI-Modelle (genannt Decoder-Only LLMs) sind jedoch wie eine einzelne, riesige Black Box. Sie haben keinen separaten Raum für das „Verstehen“. Sie lesen einfach einen Prompt und schreiben eine Antwort. Da der „Schiedsrichter“ nicht in die Black Box hineinspähen kann, um die Verbindung zwischen den englischen Wörtern und den deutschen Wörtern zu sehen, muss er meistens raten. Dies führt oft zu Zögern oder Fehlern.

Die Lösung: Das „Smarte Fenster“ und die „Taschenlampe“

Die Autoren haben dies gelöst, indem sie dem Schiedsrichter zwei spezielle Werkzeuge gegeben haben, um mit dieser Black Box zu arbeiten:

1. Das „Explizite Fenster“ (Prompt-Layout)

Anstatt die KI raten zu lassen, wo die englischen Wörter stehen, zwingt das System die KI dazu, das englische Transkript innerhalb eines spezifischen, klar markierten „Fensters“ in ihren Anweisungen zu schreiben.

Analogie: Stellen Sie sich vor, der Übersetzer liest ein Buch, in dem der ursprüngliche englische Text in Gelb hervorgehoben ist. Der Schiedsrichter muss nicht raten, wo das Englisch ist; er schaut einfach auf die gelbe Markierung.

2. Die „Taschenlampe“ (Selektive Attention Replay)

Im Gehirn der KI gibt es tausende winzige „Attention Heads“ (denken Sie an kleine Taschenlampen), die entscheiden, welche Wörter wichtig sind. Die meisten dieser Taschenlampen leuchten auf die falschen Dinge (wie die Anweisungen oder die Wörter, die der Übersetzer bereits geschrieben hat).

Die Innovation: Die Autoren haben herausgefunden, welche spezifischen Taschenlampen (nur 8 von Hunderten) tatsächlich die Verbindung von Englisch nach Deutsch verfolgen.
Der Trick: Sie haben ein System gebaut, das den exakten Lichtstrahl dieser spezifischen Taschenlampen nachdem die KI ihre Arbeit getan hat, aber bevor das Ergebnis finalisiert wird, erfasst. Sie nutzen dann ein „schnelles Replay“, um genau diesen winzigen Informationsschnitt zu rekonstruieren, um zu prüfen, ob der Übersetzer bereit ist zu sprechen.
Analogie: Es ist wie ein Sicherheitswachmann, der nicht das ganze Gebäude sehen muss, um zu wissen, ob eine Tür offen ist. Er prüft einfach durch ein spezielles Guckloch, das direkt auf die Vordertür gerichtet ist.

Wie das System funktioniert (Schritt für Schritt)

Zuhören: Das System hört ein Audiofragment und wandelt es in Text mit Zeitstempeln um (z. B. „cat“ endet bei 0,7 Sekunden).
Entwurf: Die Übersetzer-KI schreibt schnell ein paar Wörter der Übersetzung (einen „Entwurf“).
Die Prüfung: Der Schiedsrichter schaut sich die „Taschenlampen“-Daten an. Er fragt: „Konzentriert sich der Übersetzer auf Wörter, die bereits gesprochen wurden, oder rät er über Wörter, die noch nicht gesagt wurden?“
Die Entscheidung:
- Sicher: Wenn der Fokus auf bereits gesprochenen Wörtern liegt, sagt der Schiedsrichter: „Geh weiter, veröffentliche diese Wörter!“
- Unsicher: Wenn der Fokus auf zukünftigen Wörtern liegt, sagt der Schiedsrichter: „Stopp! Warte auf mehr Audio.“
Ergebnis: Der Übersetzer veröffentlicht einen stetigen Textstrom, der nie gelöscht werden muss (kein „Flackern“).

Die Ergebnisse: Schnell und Genau

Das Team hat dies beim IWSLT 2026 Wettbewerb getestet (ein simulierter Echtzeit-Übersetzungswettbewerb).

Geschwindigkeit: Das System ist sehr schnell. Es kann innerhalb von etwa 2 Sekunden nach dem Hören der Rede mit der Übersetzung beginnen.
Qualität:
- Für Deutsch und Italienisch schlug es die bestehenden „Baseline“-Systeme (die Standard-Wettbewerber) sowohl in der Geschwindigkeit als auch in der Genauigkeit.
- Für Chinesisch waren die Ergebnisse gemischt; es war in einigen Punkten konkurrenzfähig, aber die Baseline war in manchen Bereichen immer noch etwas besser. Die Autoren vermuten, dass dies daran liegt, dass das spezifische KI-Modell, das sie verwendet haben (Gemma-4), noch nicht das Beste in Chinesisch ist, aber die von ihnen entwickelte Methode funktioniert gut und könnte später durch ein besseres chinesisches Modell ersetzt werden.

Warum das wichtig ist

Dieses Paper beweist, dass man keine spezielle, langsame Übersetzungs-KI von Grund auf neu bauen muss, um Echtzeitarbeit zu leisten. Man kann eine leistungsstarke, allgemeine KI (wie einen smarten Chatbot) nehmen, ihr ein spezifisches „Fenster“ geben, durch das sie schauen kann, und einen cleveren „Taschenlampen“-Trick anwenden, um sie ohne Verlust ihrer Intelligenz in Echtzeit arbeiten zu lassen.

Kurz gesagt: Sie haben herausgefunden, wie man eine „Black Box“-Übersetzung dazu bringt, die Regeln eines echten Echtzeit-Staffellaufs einzuhalten, damit sie niemals über ihre eigenen Füße stolpert.

Technische Zusammenfassung: AlignAtt4LLM

Problemstellung
Die Arbeit adressiert die Herausforderung, offline-basierte, Decoder-only Large Language Models (LLMs) für die simultane Sprachübersetzung (Simultaneous Speech Translation, SST) anzupassen. Traditionelle simultane Policies wie AlignAtt (Papi et al., 2023, 2024) verlassen sich auf die Encoder-Decoder-Cross-Attention, um zu bestimmen, wann ein Quell-Präfix ausreichend ist, um ein Ziel-Token zu generieren. Decoder-only LLMs verfügen jedoch nicht über diesen expliziten Cross-Attention-Mechanismus, da sie Quelle und Ziel innerhalb eines einzigen kausalen Self-Attention-Streams verarbeiten. Folglich ist die direkte Anwendung von Standard-AlignAtt auf Decoder-only Modelle nicht praktikabel. Zudem führen bestehende simultane Policies für Decoder-only Modelle, wie etwa LocalAgreement, oft zu höherer Latenz und nutzen die internen Aufmerksamkeits-Signale des Modells nicht aus. Die Autoren zielen darauf ab, diese Lücke zu schließen, indem sie ein hochwertiges, Offline-basiertes Decoder-only LLM befähigen, im Modus mit niedriger Latenz zu operieren, ohne das Modell für spezifische Sprachrichtungen neu trainieren zu müssen.

Methodik
Das vorgeschlagene System, AlignAtt4LLM, ist eine synchrone Kaskade, die aus zwei Hauptkomponenten besteht:

ASR-Komponente: Verwendet Qwen3-ASR (1.7B) für die Transkription und Qwen3-ForcedAligner (0G.6B), um Wort-Ebene Start- und Endzeiten zuzuweisen. Das System arbeitet in einem Chunk-basierten Verfahren, wobei der Live-Audio-Tail an jeder Chunk-Grenze erneut transkribiert wird, um die Hypothesen zu stabilisieren.
MT-Komponente: Verwendet Gemma-4 E4B-it, serviert via vLLM. Die Kerninnovation liegt in der Anpassung der AlignAtt-Policy an diese Decoder-only Architektur durch vier spezifische technische Mechanismen:
- Expliziter Quell-Span im Prompt: Da Decoder-only Modelle keine Cross-Attention besitzen, strukturieren die Autoren den kausalen Prompt so, dass das Quell-Transkript explizit vom Ziel-Verlauf getrennt wird. Der Prompt konkateniert den System-Prompt, das Live-Quell-Transkript ( $s^{(k)}$ ), die Übersetzungsanweisung, das akzeptierte Ziel-Präfix ( $y_{1:m_k}$ ) und den aktuellen Entwurf ( $\hat{y}^{(k)}$ ). Dies ermöglicht es der Policy, den Quell-Span innerhalb der Self-Attention-Matrix zu identifizieren.
- Offline-Selektion übersetzungsspezifischer Heads: Nicht alle Self-Attention-Heads tragen zur Übersetzungs-Ausrichtung bei. In Anlehnung an Liu et al. (2026) führen die Autoren eine Offline-Kalibrierung unter Verwendung von gehaltenem Paralleltext und GPT-5-mini Alignments durch, um die Heads mittels eines Translation Score (TS) zu bewerten. Sie behalten die Top 8 Heads pro Sprachpaar, die in den späteren Schichten des Backbones konzentriert sind.
- Selektives $qk$-fast Replay: Die eingesetzte vLLM-Runtime fusioniert Attention-Kernel und verbirgt die vollständige $n \times n$ Attention-Matrix. Um auf die notwendigen Alignment-Signale zuzugreifen, implementieren die Autoren einen Runtime-Observer, der die exakten Query ( $Q$ ) und Key ( $K$ ) Tensoren erfasst, die nach der Normalisierung und dem Rotary Position Embedding (RoPE) vom Attention-Modul konsumiert werden. Anstatt die vollständige Matrix zu rekonstruieren, führt das System ein „selektives $qk$-fast“ Replay durch, das nur den spezifischen Block der Attention-Scores zwischen den Draft-Tokens und dem Quell-Span ( $\hat{A}_{D, S^{(k)}}$ ) neu berechnet. Dies gewährleistet bit-identische Ausgaben zum un-gepatchten Modell, vermeidet aber die Rechenkosten einer vollständigen Attention-Rekonstruktion.
- Runtime Query/Key Capture: Um sicherzustellen, dass der Observer die Graph-Optimierung (z. B. Dead-Code-Eliminierung) übersteht, wird eine Null-Wert-Sentinel-Abhängigkeit zum Attention-Output hinzugefügt. Dies hält den Capture-Pfad im Live-Fan-in des Graphen, ohne die numerischen Ausgaben zu verändern.

Akzeptanz-Policy
Die Policy scannt die entworfenen Tokens von links nach rechts und akzeptiert ein Präfix, solange das Alignment-Signal innerhalb der „zugänglichen Quell-Frontier“ bleibt. Die Entscheidung basiert auf:

Source-Frontier-Check: Das Argmax der rekonstruierten Attention-Zeile darf die Anzahl der zugänglichen Quell-Wörter plus eine Marge ( $b=1$ ) nicht überschreiten.
Provenance Mass: Die Summe der Attention-Masse, die auf zugängliche Quell-Tokens gerichtet ist ( $\pi^{acc}_t$ ), wird berechnet.
Stabilisierung: Das System wendet Online-Präfix-Statistiken (Welford) und einen Median-Filter an, um den Alignment-Peak vor einer Entscheidung zu stabilisieren.

Wesentliche Beiträge

Erste Anwendung von AlignAtt auf Decoder-only LLMs: Die Arbeit zeigt, dass AlignAtt erfolgreich auf Decoder-only Architekturen angewendet werden kann, indem das Alignment-Signal aus der Self-Attention statt aus der Cross-Attention extrahiert wird.
Runtime-kompatible Implementierung: Die Autoren schlagen eine Methode vor, um Attention-Signale in einer produktionsreifen, fusionierten Kernel-Umgebung (vLLM) zu erfassen und wiederzugeben, ohne die Modellgewichte zu modifizieren oder eine vollständige Materialisierung der Attention-Matrix zu erfordern.
Effiziente Head-Selektion: Das System zeigt, dass ein spärlicher Satz von Offline-kalibrierten Attention-Heads ausreicht, um die simultane Policy zu steuern, was den Rechenaufwand des Replay-Prozesses im Vergleich zur Nutzung aller Heads signifikant reduziert.

Ergebnisse
Evaluierung auf der IWSLT 2026 Simultaneous Speech Translation Aufgabe (Englisch nach Deutsch, Italienisch und Chinesisch):

Performance: AlignAtt4LLM übertrifft die bereitgestellten No-Context-Baselines sowohl im Low-Latency-Regime (~2s CU-LongYAAL) als auch im High-Latency-Regime (<4s) für Englisch-Deutsch und Englisch-Italienisch.
Chinesische Übersetzung: Die Ergebnisse für Englisch-Chinesisch sind gemischt; während die chrF-Scores konkurrenzfähig sind, liegen BLEU und XCOMET-XL leicht beim Baseline-Modell. Die Autoren führen dies teilweise auf die schwächere Leistung des Gemma-4 Backbones bei Chinesisch zurück, nicht auf die Policy selbst.
Latenz vs. Qualität: Das System erreicht einen stabilen Low-Latency-Betriebspunkt und bietet gleichzeitig ein High-Latency-Regime mit signifikant verbesserter Übersetzungsqualität.
Effizienz: Das selektive Replay unter Verwendung von nur 8 Heads verursacht einen minimalen Overhead (Median 25,4 ms/Token) im Vergleich zu Eager-Implementierungen (63,7 ms/Token), was die Praktikabilität des Ansatzes bestätigt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass AlignAtt4LLM das erste System ist, das die AlignAtt-Policy erfolgreich auf ein Decoder-only LLM anwendet. Es wird argumentiert, dass die Methode nicht an das spezifische Gemma-4 Modell gebunden ist; da die Policy nur auf einem deterministischen Prompt-Layout, kalibrierten Attention-Heads und der Query/Key-Erfassung basiert, kann sie auf stärkere, übersetzungsorientierte Decoder-only Backbones (z. B. HY-MT-1.5, MiLMMT-46) portiert werden, um potenziell die Leistung bei nicht-europäischen Sprachen zu verbessern. Die Arbeit demonstriert, dass hochwertige Offline-Modelle effektiv für die simultane Übersetzung zweckentfremdet werden können, ohne dediziertes Training, sofern das Alignment-Signal korrekt aus dem Self-Attention-Substrat extrahiert werden kann.