FBK's Long-form SpeechLLMs for IWSLT 2026 Instruction Following
Dit artikel presenteert de SpeechLLM's van FBK voor de IWSLT 2026 Instruction Following shared task, waarbij wordt aangetoond dat een vaste segmentatie van 30 seconden de meest robuuste long-form prestaties bereikt met een HIFS-score van 2,0663, terwijl sterke short-form capaciteiten behouden blijven ondanks uitdagingen met repetitieve hallucinaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante, meertalige robotassistent hebt die erg goed is in het luisteren naar korte zinnen en het opvolgen van instructies, zoals "Vertaal deze zin" of "Wat is de hoofdstad van Frankrijk?". Dit is de "Short-Form" versie van de robot.
De onderzoekers van FBK wilden zien of ze deze robot konden upgraden om lange, complexe verhalen aan te kunnen (zoals een lezing van 30 minuten of een volledige podcast) zonder dat hij in de war raakt, dingen vergeet of dingen gaat verzinnen. Dit papier is hun rapportcijfer over hoe ze dat hebben geprobeerd voor een wedstrijd genaamd IWSLT 2026.
Hier is de uitsplitsing van hun reis, eenvoudig uitgelegd:
1. De hersenen van de robot (De Architectuur)
Zie de robot als een wezen met drie hoofdonderdelen:
- De Oren (Speech Encoder): Deze luisteren naar de ruwe geluidsgolven en zetten ze om in een taal die de hersenen begrijpen. Ze gebruikten een vooraf getraind "superoor" genaamd SEAMLESSM4T.
- De Vertaler (Modality Adapter): Dit is een brug. Het neemt de geluidsgegevens en comprimeert deze zodat ze netjes in de denkruimte van de robot passen. Het is alsof je een lange roman samenvat in hoofdstukken, zodat de hersenen ze sneller kunnen lezen.
- De Hersenen (LLM Decoder): Dit is het denkende deel, gebaseerd op een model genaamd Qwen3. Het is al erg goed in het opvolgen van tekstinstructies. De onderzoekers hebben het er simpelweg een manier van geleerd om naar audio te luisteren in plaats van alleen tekst te lezen.
2. De Korte Track: De "Sprint"
Eerst testten ze de robot op korte taken (zoals een clip van 5 seconden).
- Het Resultaat: De robot rende de sprint perfect. Hij haalde een hoge score (2.07) voor vertalen, transcriberen en vragen beantwoorden. Het bewees dat de robot al een kampioen was in korte gesprekken.
3. De Lange Track: De "Marathon"
Dit is waar het lastig wordt. Je kunt de robot niet zomaar zeggen: "Luister naar deze 30 minuten durende audio" in één keer. Zijn geheugen (context window) zou overweldigd raken, en hij zou kunnen gaan hallucineren (dingen verzinnen).
Om dit op te lossen, probeerden ze drie verschillende manieren om de audio in hanteerbare stukken te snijden, zoals het snijden van een lang brood:
Strategie A: De Vaste Snijder (Slices van 30 seconden).
Stel je een machine voor die de audio in perfecte, gelijke stukken van 30 seconden snijdt, ongeacht wat er in de audio gebeurt.- Resultaat: Dit was de winnaar. Het was het meest stabiel. De robot raakte niet in de war en bedacht niet zoveel neppunten.
Strategie B: De Slimme Snijder (Spraakdetectie).
Deze gebruikt een hulpmiddel dat probeert natuurlijke pauzes in de spraak te vinden (zoals wanneer een spreker stopt met praten) om de audio te snijden.- Resultaat: Het was oké, maar soms sneed het de audio op vreemde plekken of maakte het de stukken te kort, waardoor de robot de flow van het verhaal verloor.
Strategie C: De Hybride Snijder.
Deze probeert de twee te combineren: het zoekt naar pauzes, maar dwingt ook een snede af als een stuk te lang wordt.- Resultaat: Het was beter dan de Slimme Snijder, maar kon de eenvoudige, constante Vaste Snijder nog steeds niet verslaan.
4. Het "Hallucinatie"-probleem
Wanneer de robot probeerde naar lange audio te luisteren, had hij een slechte gewoonte: Repetitieve Invoegingen.
- De Analogie: Stel je een student voor die een lange dictee-toets maakt. Wanneer ze moe worden of in de war raken, beginnen ze de laatste zin die ze schreven steeds opnieuw te herhalen, of ze verzinnen een hele nieuwe paragraaf die helemaal niet gezegd is.
- De Impact: Dit zorgde ervoor dat de transcriptie van de robot (het opschrijven van wat er gezegd werd) er slecht uitzag omdat het vol zat met herhaalde onzin. De onderzoekers ontdekten dat deze "hallucinatie" de belangrijkste reden was waarom de robot moeite had met lange audio.
5. Het Eindscorebord
Ze creëerden een nieuw scoresysteem genaamd HIFS (Hallucination-Penalized Score). Dit scorebord kijkt niet alleen naar hoe goed de robot het begreep; het trekt punten af als de robot dingen begint te verzinnen.
- De Winnaar: De robot die de vaste 30-seconden snijdstrategie gebruikte, won de lange track met de hoogste score (2.06).
- De Belangrijkste Les: Zelfs though de robot vooral getraind was op korte clips, kon hij nog steeds vrij goed met lange audio omgaan als je de audio in een constante, voorspelbare stukken sneed. Hij verloor niet zijn vermogen om korte taken uit te voeren, maar hij had wel hulp nodig bij het beheren van de lengte van de input om te voorkomen dat hij dingen ging verzinnen.
Samenvatting
Het papier laat zien dat je een robot die naar korte fragmenten luistert, kunt veranderen in een robot die naar lange fragmenten luistert, maar je moet voorzichtig zijn met hoe je de audio aan hem voert. Eenvoudig, constant snijden (om de 30 seconden) werkte beter dan proberen te slim te zijn met het snijden van de audio op natuurlijke pauzes. De grootste vijand was niet de lengte van de audio, maar de neiging van de robot om zichzelf te herhalen of woorden te verzinnen wanneer hij overweldigd raakte.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.