Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026
Der Beitrag des KIT zum IWSLT 2026 Instruction Following Track präsentiert ein multilinguales System für langgestreckte Sprachinstruktionen, das eine Datenaugmentierungspipeline nutzt, um über 1 Million Trainingsinstanzen zu generieren, und eine hybride Dekodierungsstrategie einsetzt, die eine auf Likelihood basierende Re-Ranking-Methode mit Minimum Bayes Risk kombiniert, um semantische Degradation bei der langgestreckten Inferenz zu überwinden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: KI lehren, langen Geschichten zuzuhören
Stellen Sie sich vor, Sie haben einen intelligenten Assistenten, der groß darin ist, kurze Sätze zu verstehen, wie „Wie ist das Wetter?“ oder „Übersetze dieses Wort“. Aber wenn Sie ihn bitten, einem 15-minütigen Vortrag oder einem langen Podcast zuzuhören, wird er verwirrt, vergisst den Anfang oder beginnt zu halluzinieren.
Die Forscher am KIT (Karlsruher Institut für Technologie) wollten das beheben. Sie nahmen an einem Wettbewerb namens IWS-LT 2026 teil, bei dem das Ziel war, eine KI zu bauen, die Anweisungen basierend auf langformierter Sprache (bis zu 15 Minuten) in vier Sprachen befolgen kann: Englisch, Deutsch, Italienisch und Chinesisch. Sie mussten zudem eine „Überraschungsaufgabe“ bewältigen, die sie im Voraus nicht kannten.
Hier ist die Erklärung, wie sie es geschafft haben, unterteilt in vier Hauptteile.
1. Das Datenproblem: Aus kurzen Ausschnitten einen Marathon machen
Die Herausforderung: Die meisten KI-Trainingsdaten sind wie eine Sammlung kurzer, 15-sekündiger Sprachnachrichten. Aber der Wettbewerb verlangte von der KI, 15-minütige Audiodateien zu verarbeiten. Es ist, als würde man versuchen, einen Marathonläufer zu trainieren, indem man nur 100-Meter-Sprints macht.
Die Lösung: Sie bauten eine „Datenfabrik“, um kurze Clips zu langen Geschichten zu dehnen.
- Die Klebe-Methode: Sie nahmen tausende kurze Audioclips und klebten sie Ende an Ende zusammen, um lange Segmente zu erstellen.
- Der Übersetzer: Da die meisten Daten nur auf Englisch vorlagen, nutzten sie eine extrem intelligente KI-Übersetzung, um Versionen in Deutsch, Italienisch und Chinesisch zu erstellen.
- Der Etiketten-Ersteller: Sie nutzten KI, um Anweisungen und Antworten für die neuen langen Clips zu schreiben, wodurch effektiv über 1 Million neue Trainingsbeispiele entstanden.
Das Ergebnis: Sie verwandelten eine Bibliothek kurzer Sprachnachrichten in eine riesige Bibliothek aus langen Vorträgen und Gesprächen, die bereit für das Training waren.
2. Die Trainingsstrategie: Eine ausgewogene Diät
Die Herausforderung: Die KI musste sechs verschiedene Aufgaben lernen:
- ASR: Sprache in Text transkribieren.
- ST: Sprache in einen anderen Text in einer anderen Sprache übersetzen.
- SQA: Fragen zu dem beantworten, was gehört wurde.
- SSUM: Den Audioinhalt zusammenfassen.
- ACHAP: Den Audioinhalt in Kapitel mit Titeln unterteilen.
- Surprise (Überraschung): Etwas Unbekanntes tun.
Einige dieser Aufgaben hatten viel mehr Daten als andere (wie eine Diät, die schwer auf Brokkoli, aber leicht auf Karotten basiert). Wenn sie der KI die Daten einfach zufällig gefüttert hätten, wäre sie bei den häufigen Aufgaben gut geworden und hätte die seltenen vergessen.
Die Lösung: Sie probierten zwei Wege, um die Daten zu mischen:
- Fester Plan: Manuelle Entscheidung, der KI z. B. 10 % ASR, 30 % Q&A usw. zu füttern.
- Temperatur-Skalierung (Der „Quadratwurzel“-Trick): Sie nutzten eine mathematische Formel (Temperatur = 2), die die Diät natürlich ausbalanciert. Es ist wie ein kluger Koch, der Ihnen von allem ein bisschen gibt, aber nicht zulässt, dass die häufigste Zutat die seltenen überdeckt.
Die Entdeckung: Die „Quadratwurzel“-Methode funktionierte am besten. Sie half der KI, alle Aufgaben gleichermaßen gut zu lernen, ohne verwirrt zu werden.
3. Das Versagen des „Geheimcodes“ (Chain-of-Thought)
Die Herausforderung: Das Team probierte einen beliebten Trick namens „Chain-of-Thought“ aus. Das ist so, als würde man der KI sagen: „Bevor du antwortest, überlege erst, um welche Aufgabe es sich handelt.“ Sie gaben der KI spezielle „Token“ (wie Geheimcodes), um zu sagen: „Dies ist eine Übersetzungsaufgabe“ oder „Dies ist eine Zusammenfassungsaufgabe“.
Das Versagen: Es kam nach hinten los. Die KI wurde faul. Da „Zusammenfassung“ etwas häufiger vorkam und ähnlich aussah wie „Transkription“, fing die KI an, für fast alles „Zusammenfassung“ zu raten, selbst wenn sie eigentlich übersetzen sollte. Sie hörte auf, auf die Anweisungen zu hören, und wählte einfach den Weg des geringsten Widerstands.
Die Lektion: Man kann einer KI nicht einfach durch ein Label sagen, „was zu tun ist“, wenn die Aufgaben zu ähnlich sind; sie muss den Unterschied durch Übung tatsächlich lernen, nicht nur durch ein Präfix.
4. Der letzte Schliff: Der „Re-Ranking“-Filter
Die Herausforderung: Wenn die KI eine Antwort generiert, erstellt sie oft 17 verschiedene Versionen. Einige sind perfekt, andere sind Kauderwelsch. Das Team brauchte einen Weg, die beste Version auszuwählen, ohne zu wissen, welche Aufgabe sie gerade ausführte (da die „Überraschungsaufgabe“ unbekannt war).
Das Versagen von Standardmethoden:
- Likelihood (Der „Konfidenz“-Check): Die KI wählte die Antwort, bei der sie sich am sichersten fühlte. Das funktionierte super für die Transkription (ASR), war aber schrecklich für die Zusammenfassung. Sie wählte immer wieder Antworten, die in winzige, abgehackte Stücke zerlegt waren, weil die Mathematik gut aussah, obwohl die Bedeutung verloren ging.
- MBR (Der „Konsens“-Check): Diese Methode wählte die Antwort, die den anderen Antworten am ähnlichsten war. Das war sicher und gut für die Bedeutung, ignorierte aber die besten Transkriptions-Kandidaten.
Die Gewinnstrategie (Likelihood + MBR):
Sie kombinierten beide. Denken Sie an ein Auswahlkomitee:
- Likelihood ist der „Selbstbewusste Kandidat“, der schnell und klar spricht.
- MBR ist der „Sichere Kandidat“, der konsistent ist.
- Die Kombination: Sie ließen den „Selbstbewussten Kandidaten“ gewinnen, es sei denn, der „Sichere Kandidat“ widerspricht ihm massiv. Dies verhinderte, dass die KI für Zusammenfassungsaufgaben abgehackte, kaputte Antworten wählte, während die besten Transkriptionen dennoch erhalten blieben.
Die Endergebnisse
Das Team reichte zwei Systeme ein:
- Das primäre System (End-to-End): Die KI hört Audio und gibt direkt eine Antwort. Es war großartig darin, die Bedeutung zu verstehen (Fragen beantworten, zusammenfassen).
- Das kontrastive System (Kaskadiert): Die KI schreibt zuerst exakt auf, was gesagt wurde (Transkription), und liest dann diesen Text, um die Fragen zu beantworten. Dies war fantastisch darin, die Wörter richtig zu erfassen (Transkription) und zu übersetzen, war aber etwas schwächer im tiefen Verständnis.
Die Überraschung: Als die „Überraschungsaufgabe“ (Qualitätsschätzung) auftauchte, deklassierte das System, das zuerst den Text schreibt (Kaskadiert), die Konkurrenz, während das direkte System völlig versagte. Dies zeigte, dass es manchmal besser ist, ein komplexes Problem in Schritte zu unterteilen (Zuhören -> Schreiben -> Denken), als zu versuchen, alles auf einmal zu erledigen.
Zusammenfassung
Die Arbeit zeigt, dass man, um eine KI beim Zuhören langer Reden zu unterstützen, Folgendes tun muss:
- Kurze Daten in lange Daten dehnen.
- Die Trainingsdiät mithilfe eines „Quadratwurzel“-Mathematik-Tricks ausbalancieren.
- Einfache „Aufgaben-Labels“ vermeiden, die die KI faul machen.
- Konfidenz und Konsistenz kombinieren, um die beste Antwort auszuwählen.
Es gelang ihnen, ein System zu bauen, das mehrsprachige Audioinhalte verarbeitet, und bewies, dass man mit den richtigen Daten und einem smarten „Abstimmungssystem“ für Antworten eine KI endlich die ganze Geschichte hören lässt, und nicht nur den ersten Satz.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.