Do What I Say: A Spoken Prompt Dataset for Instruction-Following

Dit paper introduceert DoWhatISay (DOWIS), een meertalige dataset met gesproken en geschreven instructies om Speech Large Language Models realistischer te evalueren, waarbij blijkt dat tekstprompts vaak beter presteren dan gesproken prompts, behalve bij taken met spraakoutput.

De kern

"Doe wat ik zeg": Een nieuw spreektest voor slimme computers

Stel je voor dat je een zeer slimme robot hebt die alles kan doen: vertalen, samenvatten, vragen beantwoorden. Maar tot nu toe hebben we deze robot alleen getest door hem te schrijven wat hij moet doen. Alsof je een kok alleen test door hem een recept op een briefje te geven, maar nooit zegt: "Hé kok, maak die soep!" terwijl je naast hem staat.

Dat is precies het probleem dat dit nieuwe onderzoek (van een team uit Duitsland, Italië en Polen) aanpakt. Ze hebben een nieuwe test ontwikkeld genaamd DOWIS (DoWhatISay). Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Schrijf-Blindheid"

Tot nu toe dachten onderzoekers dat als een robot goed was in het lezen van instructies, hij ook goed zou zijn in het horen van instructies. Maar dat bleek niet waar.

• De Analogie: Het is alsof je iemand test op zijn vermogen om te dansen door alleen naar zijn foto's te kijken. Je ziet hoe hij eruit ziet, maar je weet niet of hij kan bewegen.
• De Realiteit: De robots (zoals Qwen en Phi) presteerden fantastisch op tekst, maar vielen vaak flink door de mand als mensen hen spreektaal gaven. Ze raakten in de war, vooral als de taal niet hun moedertaal was of als de instructie informeel klonk.

2. De Oplossing: DOWIS (De "Spreek-Set")

De onderzoekers hebben een enorme verzameling gemaakt van spreekopdrachten.

• Hoe het is gemaakt: In plaats van dat een computer de stemmen heeft nagebootst (wat vaak klinkt als een robot), hebben ze echte mensen ingeschakeld. 19 mensen uit 11 verschillende landen (zoals Nederland, Duitsland, Rusland, Hongarije) hebben de opdrachten opgenomen alsof ze tegen een vriend praten.
• De Variatie: Ze hebben niet alleen gezegd "Vertaal dit". Ze hebben ook gezegd:
  • Formeel: "Zou u deze tekst willen vertalen?"
  • Informeel: "Hé, kun jij even zeggen wat die vent daar zegt?"
  • Kort: "Vertaal."
  • Gedetailleerd: "Luister goed naar dit gesprek en vertaal precies wat er gezegd wordt, zonder iets toe te voegen."
• Het Resultaat: Een dataset met uren aan audio in 11 talen, die je kunt koppelen aan elke bestaande test. Het is als een "proefkeuken" waar je de robot kunt testen met echte menselijke stemmen in plaats van met een schriftelijke menukaart.

3. Wat Vonden Ze? (De Verassingen)

Toen ze de slimme robots met deze nieuwe spreektesten testten, kwamen er interessante dingen naar boven:

• Schrijven is makkelijker dan spreken: Voor taken waarbij de robot iets moet schrijven (zoals een samenvatting of vertaling), deed hij het veel slechter als hij een gesproken opdracht kreeg. Het was alsof de robot dacht: "Oh, iemand praat tegen me? Dan weet ik niet meer wat ik moet doen."
• Spreken is makkelijker als het antwoord ook spreken is: Als de robot iets moet zeggen (zoals een vertaling voorlezen), deed hij het juist heel goed met gesproken opdrachten. Hier sluit het gesprek naadloos aan.
• De "Hé, kan jij..." factor: Informele, slordige zinnen (zoals "Hé, doe maar wat") waren vaak de moeilijkste. De robots houden van duidelijke, gestructureerde instructies. Alsof een kok liever een strak recept heeft dan een flauwe grap van de klant.
• Mannen vs. Vrouwen: Het bleek dat sommige robots iets beter reageerden op de stem van een man en anderen op die van een vrouw. Dit is een teken dat de robots nog vooroordelen hebben die we moeten oplossen.

4. Waarom is dit belangrijk?

Vroeger dachten we: "Onze robot is 99% goed!" omdat hij tekst perfect las. Maar met deze nieuwe test zien we: "Oh, als een mens tegen hem praat, is hij misschien maar 60% goed."

De conclusie in één zin:
Om echt slimme robots te bouwen die in het echte leven kunnen werken (waar mensen praten in plaats van typen), moeten we stoppen met ze alleen te testen met pennen en papier, en ze gaan testen met onze eigen stemmen. DOWIS is de nieuwe "spreekles" die we nodig hebben om deze robots echt menselijk te maken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Do What I Say: A Spoken Prompt Dataset for Instruction-Following" in het Nederlands.

Probleemstelling

Spreektalige Large Language Models (SLLMs) hebben recente grote vooruitgang geboekt en kunnen diverse taken uitvoeren. Echter, de evaluatie van deze modellen gebeurt momenteel grotendeels met tekstprompts. Dit creëert een kloof met de realiteit, waar gebruikers vaak via spraak (gesproken instructies) met systemen interageren. Bestaande benchmarks voor gesproken instructies hebben ernstige beperkingen:

• Ze gebruiken vaak synthetische spraak (Text-to-Speech) in plaats van menselijke opnames.
• Ze zijn beperkt tot enkele talen (vaak alleen Engels en Chinees).
• Instructies zijn vaak vooraf samengevoegd met de taakinput, wat hergebruik met andere datasets bemoeilijkt.
• Ze missen ondersteuning voor cross-linguale taken (zoals spraakvertaling) en specifieke taken zoals audio-chaptering.

Dit leidt tot een te optimistisch beeld van de prestaties van SLLMs, omdat tekstprompts vaak beter presteren dan gesproken prompts, vooral in complexe scenario's.

Methodologie: Het DOWIS Dataset

Om deze kloof te dichten, introduceren de auteurs DoWhatISay (DOWIS), het eerste meertalige dataset met parallelle, door native sprekers opgenomen gesproken en tekstuele prompts.

• Omvang en Diversiteit: Het dataset omvat 9 taken en 11 talen (Duits, Engels, Italiaans, Tsjechisch, Spaans, Frans, Hongaars, Nederlands, Portugees, Russisch, Zweeds).
• Taken: De taken dekken het volledige spectrum van SLLM-modus:
  • Speech-to-Text: Automatic Speech Recognition (ASR), Spoken QA, Audio Chaptering, Speech Translation, Speech Summarization.
  • Text-to-Text: Machine Translation, Text Summarization.
  • Text-to-Speech: Text Synthesis.
  • Speech-to-Speech: Speech-to-Speech Translation.
• Prompt Variatie: Voor elke taak-taalcombinatie zijn er 10 varianten van prompts, verdeeld over vijf stijlen:
  1. Basic: Natuurlijke, dagelijkse formulering.
  2. Formal: Professionele, gepolijste taal.
  3. Informal: Conversational en informeel.
  4. Detailed: Expliciete en precieze instructies.
  5. Short: Zo beknopt mogelijk, maar eenduidig.
• Verzameling en Opname:
  • Prompts werden eerst door experts in het Engels geschreven en vervolgens door native sprekers vertaald naar de 10 andere talen, met aandacht voor natuurlijke klank.
  • 19 native sprekers (9 man, 10 vrouw) hebben de prompts opgenomen via hun eigen telefoons/laptops om realistische meeting-scenario's te simuleren.
  • De audio is verwerkt (.wav) met silence-removal en padding om natuurlijke aanvang en afloop te behouden.
  • Totaal volume: 3 uur en 17 minuten audio.
• Koppeling: Een cruciaal kenmerk is dat instructies losgekoppeld zijn van de taakinput. Dit maakt het mogelijk om DOWIS te koppelen aan bestaande benchmarks, waardoor de evaluatie van gesproken instructies laagdrempelig wordt zonder de natuurlijke variatie te verliezen.

Experimenten en Evaluatie

De auteurs hebben twee state-of-the-art SLLMs getest met DOWIS:

1. Phi-4 Multimodal
2. Qwen2.5-Omni

De modellen werden getest op alle 9 taken met zowel tekst- als spraakprompts, variërend in stijl en taal. Voor taken met spraakoutput (zoals TTS en S2ST) werd alleen Qwen gebruikt, aangezien Phi geen audio kan genereren. De evaluatie gebruikte standaard metrieken zoals WER (voor ASR), CometKiwi (voor vertaling), BERTScore (voor samenvattingen/QA) en UTMOS (voor spraakkwaliteit).

Belangrijkste Resultaten

De analyse levert enkele verrassende en kritieke inzichten op:

1. Tekst vs. Spraak (Modality Gap):

   • Voor taken met tekstoutput (zoals ASR, Machine Translation, Samenvatting) presteren tekstprompts consistent beter dan gesproken prompts.
   • Gesproken prompts leiden vaak tot significante prestatiedalingen, soms zelfs tot complete falen (bijv. WER > 100 voor ASR met Phi).
   • Alleen voor taken met spraakoutput (TTS, Speech-to-Speech Translation) presteren gesproken prompts gelijkwaardig aan of zelfs beter dan tekstprompts.
   • Conclusie: Evaluatie met alleen tekstprompts geeft een te optimistisch beeld van de werkelijke capaciteiten van een SLLM in een spraakomgeving.

2. Invloed van Prompts Stijl:

   • Informele en korte prompts presteren over het algemeen slechter dan formele of gedetailleerde prompts.
   • Modellen reageren beter op gestructureerde en expliciete instructies.

3. Taal- en Modality Interactie:

   • Er is een sterke prestatiedaling bij gesproken prompts voor specifieke talen (zoals Tsjechisch, Nederlands, Portugees, Zweeds) bij ASR-taken.
   • Dit is niet toe te schrijven aan slechte audio-kwaliteit (de transcriptie-accuraatheid van de prompts zelf was hoog), maar aan de moeite die het model heeft om gesproken instructies te interpreteren in plaats van tekst.

4. Sprekersgeslacht:

   • Er zijn kleine, maar inconsistente verschillen in prestaties tussen mannelijke en vrouwelijke stemmen, wat wijst op mogelijke biases in de modellen die verder onderzocht moeten worden.

Bijdrage en Significantie

• Eerste Meertalige Dataset: DOWIS is het eerste dataset dat parallelle, menselijke gesproken en tekstuele instructies biedt voor een breed scala aan taken en talen.
• Flexibiliteit: Door instructies te decoupleren van de input-data, kan DOWIS direct worden gebruikt met bestaande benchmarks, wat de drempel voor realistische evaluatie verlaagt.
• Kritische Inzicht: Het paper bewijst dat de huidige evaluatiestandaard (tekstprompts) tekortschiet voor SLLMs. Het benadrukt de noodzaak van gesproken prompt-evaluatie, vooral voor low-resource talen en cross-linguale taken.
• Toekomstige Richting: De resultaten roepen de gemeenschap op om de ontwikkeling van SLLMs te richten op het beter begrijpen van gesproken instructies en het verminderen van de bias tussen tekst- en spraakmodi.

Kortom, DOWIS biedt de noodzakelijke infrastructuur om te testen of SLLMs daadwerkelijk kunnen "doen wat ze horen" in plaats van alleen wat ze lezen.