FBK's Long-form SpeechLLMs for IWSLT 2026 Instruction Following
Dieses Paper präsentiert die SpeechLLMs von FBK für die IWSLT 2026 Instruction Following Shared Task und zeigt auf, dass eine feste 30-sekündige Segmentierung mit einem HIFS-Score von 2,0663 die robusteste Long-Form-Leistung erzielt, während gleichzeitig starke Short-Form-Fähigkeiten trotz Herausforderungen durch repetitive Halluzinationen beibehalten werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen brillanten, multilingualen Roboter-Assistenten, der groß darin ist, kurzen Sätzen zuzuhören und Anweisungen zu befolgen, wie „Übersetze diesen Satz“ oder „Was ist die Hauptstadt von Frankreich?“. Dies ist die „Kurzform“-Version des Roboters.
Die Forscher bei FBK wollten sehen, ob sie diesen Roboter aufrüsten können, um lange, komplexe Geschichten (wie einen 30-minütigen Vortrag oder einen vollständigen Podcast) zu bewältigen, ohne dass er verwirrt wird, Dinge vergisst oder anfängt, Dinge zu erfinden. Dieses Papier ist sein Zeugnis darüber, wie sie das für einen Wettbewerb namens IWSLT 2026 versucht haben.
Hier ist die Aufschlüsselung ihrer Reise, einfach erklärt:
1. Das Gehirn des Roboters (Die Architektur)
Stellen Sie sich den Roboter als ein System mit drei Hauptteilen vor:
- Die Ohren (Speech Encoder): Diese hören die rohen Schallwellen und wandeln sie in eine Sprache um, die das Gehirn versteht. Sie verwendeten ein vortrainiertes „Super-Ohr“ namens SEAMLESSM4T.
- Der Übersetzer (Modality Adapter): Dies ist eine Brücke. Er nimmt die Audiodaten und komprimiert sie, damit sie ordentlich in den Denkraum des Roboters passen. Es ist, als würde man einen langen Roman nehmen und die Kapitel zusammenfassen, damit das Gehirn sie schneller lesen kann.
- Das Gehirn (LLM Decoder): Dies ist der denkende Teil, der auf einem Modell namens Qwen3 basiert. Er ist bereits sehr gut darin, Textanweisungen zu befolgen. Die Forscher haben ihn lediglich beigebracht, wie man Audio statt nur Text hört.
2. Die Kurzstrecke: Der „Sprint“
Zuerast testeten sie den Roboter bei kurzen Aufgaben (wie einem 5-sekündigen Clip).
- Das Ergebnis: Der Roboter lief den Sprint perfekt. Er erreichte eine hohe Punktzahl (2,07) für das Übersetzen, Transkribieren und Beantworten von Fragen. Er bewies, dass der Roboter bereits ein Champion bei kurzen Gesprächen war.
3. Die Langstrecke: Der „Marathon“
Hier wird es knifflig. Man kann dem Roboter nicht einfach sagen: „Hör dir diesen 30-minütigen Audiobeitrag an“, auf einmal. Sein Gedächtnis (Context Window) würde überfordert werden, und er könnte anfangen zu halluzinieren (Dinge zu erfinden).
Um dies zu lösen, versuchten sie drei verschiedene Wege, das Audio in handhabbare Stücke zu schneiden, wie das Schneiden eines langen Laibs Brot:
Strategie A: Der feste Slicer (30-Sekunden-Stücke).
Stellen Sie sich eine Maschine vor, die das Audio in perfekte, gleichmäßige 30-Sekunden-Stücke schneidet, egal was gerade im Audio passiert.- Ergebnis: Dies war der Gewinner. Es war am stabilsten. Der Roboter wurde nicht verwirrt und erfand nicht so viele Fantasiewörter.
Strategie B: Der smarte Slicer (Spracherkennung).
Dies verwendet ein Werkzeug, das versucht, natürliche Pausen in der Sprache zu finden (wie wenn ein Sprecher aufhört zu reden), um das Audio zu schneiden.- Ergebnis: Es war okay, aber manchmal schnitt es das Audio an seltsamen Stellen oder machte die Stücke zu kurz, was dazu führte, dass der Roboter den Fluss der Geschichte verlor.
Strategie C: Der Hybrid-Slicer.
Dieser versucht, die beiden zu kombinieren: Er sucht nach Pausen, erzwingt aber auch einen Schnitt, wenn ein Stück zu lang wird.- Ergebnis: Es war besser als der smarte Slicer, konnte aber den einfachen, stetigen festen Slicer immer noch nicht schlagen.
4. Das „Halluzinations“-Problem
Wenn der Roboter versuchte, langem Audio zuzuhören, hatte er eine schlechte Angewohnheit: Repetitive Einfügungen.
- Die Analogie: Stellen Sie sich einen Schüler vor, der einen langen Diktat-Test schreibt. Wenn er müde oder verwirrt wird, beginnt er, den letzten Satz, den er geschrieben hat, immer wieder zu wiederholen, oder er erfindet einen ganz neuen Absatz, der so nicht gesagt wurde.
- Die Auswirkung: Dies führte dazu, dass die Transkription (das Aufschreiben dessen, was gesagt wurde) des Roboters schrecklich aussah, da sie voller wiederholtem Unsinn war. Die Forscher fanden heraus, dass diese „Halluzination“ der Hauptgrund dafür war, dass der Roboter mit langem Audio zu kämpfen hatte.
5. Die Abschlussbewertung
Sie entwickelten ein neues Bewertungssystem namens HIFS (Hallucination-Penalized Score). Dieser Wert schaut nicht nur darauf, wie gut der Roboter verstanden hat; er zieht Punkte ab, wenn der Roboter anfängt, Dinge zu erfinden.
- Der Gewinner: Der Roboter mit der festen 30-Sekunden-Slicing-Strategie gewann die Langstrecke mit der höchsten Punktzahl (2,06).
- Die Erkenntnis: Obwohl der Roboter hauptsächlich auf kurzen Clips trainiert wurde, konnte er dennoch langes Audio recht gut bewältigen, wenn man das Audio in stetige, vorhersehbare Stücke schnitt. Er verlor nicht seine Fähigkeit für kurze Aufgaben, aber er brauchte Hilfe beim Management der Input-Länge, um zu verhindern, dass er Dinge erfindet.
Zusammenfassung
Das Papier zeigt, dass man einen Kurzzeit-Hör-Roboter in einen Langzeit-Hör-Roboter verwandeln kann, aber man muss vorsichtig sein, wie man ihm das Audio füttert. Einfaches, stetiges Schneiden (alle 30 Sekunden) funktionierte besser, als zu versuchen, mit dem Schneiden an natürlichen Pausen zu viel „schlau“ zu sein. Der größte Feind war nicht die Länge des Audios, sondern die Tendenz des Roboters, sich zu wiederholen oder Wörter zu erfinden, wenn er überfordert wurde.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.