FBK's Long-form SpeechLLMs for IWSLT 2026 Instruction Following
Ce document présente les SpeechLLMs de FBK pour la tâche partagée d'instruction following de l'IWSLT 2026, démontrant qu'une segmentation fixe de 30 secondes permet d'atteindre la performance la plus robuste sur le long format avec un score HIFS de 2,0663 tout en maintenant de fortes capacités sur le format court malgré des défis liés aux hallucinations répétitives.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un assistant robotique brillant et multilingue, capable d'écouter de courtes phrases et de suivre des instructions, comme « Traduis cette phrase » ou « Quelle est la capitale de la France ? ». C'est la version « Format Court » du robot.
Les chercheurs de la FBK ont voulu voir s'ils pouvaient améliorer ce robot pour qu'il puisse gérer des histoires longues et complexes (comme un cours de 30 minutes ou un podcast complet) sans qu'il ne s'embrouille, n'oublie des choses ou ne commence à inventer des faits. Ce document est leur bulletin de notes sur la façon dont ils ont tenté de faire cela pour une compétition appelée IWSLT 2026.
Voici le détail de leur parcours, expliqué simplement :
1. Le cerveau du robot (L'architecture)
Considérez le robot comme ayant trois parties principales :
- Les oreilles (Encodeur de parole) : Elles écoutent les ondes sonores brutes et les transforment en un langage que le cerveau comprend. Ils ont utilisé une « super-oreille » pré-entraînée appelée SEAMLESSM4T.
- Le traducteur (Adaptateur de modalité) : C'est un pont. Il prend les données sonores et les compresse pour qu'elles s'insèrent proprement dans l'espace de réflexion du robot. C'est comme prendre un long roman et résumer les chapitres pour que le cerveau puisse les lire plus rapidement.
- Le cerveau (Décodeur LLM) : C'est la partie qui réfléchit, basée sur un modèle appelé Qwen3. Il est déjà très bon pour suivre des instructions textuelles. Les chercheurs lui ont simplement appris comment écouter de l'audio au lieu de simplement lire du texte.
2. Le parcours court : Le « Sprint »
D'abord, ils ont testé le robot sur des tâches courtes (comme un clip de 5 secondes).
- Le résultat : Le robot a parfaitement réussi le sprint. Il a obtenu un score élevé (2,07) pour la traduction, la transcription et la réponse aux questions. Il a prouvé que le robot était déjà un champion des conversations courtes.
3. Le parcours long : Le « Marathon »
C'est là que cela devient délicat. Vous ne pouvez pas simplement dire au robot de « écouter cet audio de 30 minutes » d'un seul coup. Sa mémoire (fenêtre de contexte) serait submergée, et il pourrait commencer à halluciner (inventer des choses).
Pour résoudre cela, ils ont essayé trois méthodes différentes pour découper l'audio en morceaux gérables, comme si l'on tranchait une longue miche de pain :
Stratégie A : Le trancheur fixe (tranches de 30 secondes).
Imaginez une machine qui découpe l'audio en morceaux égaux et parfaits de 30 secondes, peu importe ce qui se passe dans l'audio.- Résultat : C'était le vainqueur. C'était la méthode la plus stable. Le robot ne s'est pas emmêlé les pinceaux et n'a pas inventé autant de faux mots.
Stratégie B : Le trancheur intelligent (Détection de la voix).
Cela utilise un outil qui tente de trouver les pauses naturelles dans la parole (comme quand un locuteur s'arrête de parler) pour découper l'audio.- Résultat : C'était correct, mais parfois cela découpait l'audio à des endroits bizarres ou rendait les morceaux trop courts, ce qui faisait perdre le fil de l'histoire au robot.
Stratégie C : Le trancheur hybride.
Cette méthode tente de combiner les deux : elle cherche les pauses mais impose aussi une coupe si un morceau devient trop long.- Résultat : C'était meilleur que le Trancheur Intelligent, mais cela ne pouvait toujours pas battre le simple et régulier Trancheur Fixe.
4. Le problème de l'« Hallucination »
Lorsque le robot essayait d'écouter un audio long, il avait une mauvaise habole : les Insertions Répétitives.
- L'analogie : Imaginez un élève passant un examen de dictée prolongé. Lorsqu'il se fatigue ou est confus, il commence à répéter la dernière phrase qu'il a écrite encore et encore, ou il invente un tout nouveau paragraphe qui n'a pas été dit.
- L'impact : Cela rendait la transcription du robot (l'écriture de ce qui a été dit) terrible car elle était pleine de répétitions absurdes. Les chercheurs ont découvert que cette « hallucination » était la raison principale pour laquelle le robot peinait avec les audios longs.
5. Le bulletin de notes final
Ils ont créé un nouveau système de notation appelé HIFS (Score pénalisant les hallucinations). Ce score ne regarde pas seulement si le robot a bien compris ; il déduit des points si le robot commence à inventer des choses.
- Le vainqueur : Le robot utilisant la stratégie de découpage fixe de 30 secondes a gagné le parcours long avec le score le plus élevé (2,06).
- La conclusion : Même si le robot a été principalement entraîné sur des clips courts, il peut tout de même gérer de l'audio long assez bien si vous découpez l'audio en segments réguliers et prévisibles. Il n'a pas perdu sa capacité à réaliser des tâches courtes, mais il avait besoin d'aide pour gérer la longueur de l'entrée afin d'éviter de commencer à inventer des choses.
Résumé
Ce document montre que vous pouvez transformer un robot qui écoute des séquences courtes en un robot qui écoute des séquences longues, mais vous devez faire attention à la manière dont vous lui fournissez l'audio. Un découpage simple et régulier (30 secondes à la fois) a mieux fonctionné que d'essayer d'être trop astucieux avec le découpage aux pauses naturelles. Le plus grand ennemi n'était pas la longueur de l'audio, mais la tendance du robot à commencer à se répéter ou à inventer des mots lorsqu'il était submergé.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.