Stel je voor dat je een mysterie probeert op te lossen in een zeer luide, chaotische kamer. Je hebt een detective die ongelooflijk slim is en veel weet over taal, maar hij kan je alleen horen via een krakerige, statische radio. Soms is de statische ruis zo erg dat het woord "door" (deur) precies klinkt als "dough" (deeg), waardoor de detective in de war raakt. Stel je nu voor dat je de detective een bril kunt geven om je lippen te zien bewegen, of een foto van de kamer waar je bent. Plotseling wordt het mysterie gemakkelijker op te lossen omdat de detective niet alleen luistert, maar ook kijkt en aanwijzingen leest. Dit is de wereld van Automatic Speech Recognition (ASR), de technologie die gesproken woorden in tekst verandert. Lange tijd vertrouwden deze systemen alleen op geluid. Maar onlangs zijn wetenschappers begonnen met het bouwen van "Multi-modal Large Language Models" (MLLM's). Denk aan deze als superdetectives die tegelijkertijd kunnen lezen, zien en horen. De grote vraag die onderzoekers stellen is: helpt het de superdetectives echt om het mysterie op te lossen als je ze meer zintuigen geeft, of geeft het ze juist te veel informatie om te verwerken? En als het helpt, wanneer werkt het dan het best?

Dit artikel, getiteld "MLLM-based Speech Recognition: When and How is Multimodality Beneficial?", duikt in precies die vraag. De auteurs, een team van onderzoekers, hebben een reeks experimenten opgezet om te zien hoe het toevoegen van visuele aanwijzingen—zoals het zien van de lippen van een spreker of een afbeelding van waar de persoon over praat—de nauwkeurigheid van spraak-naar-tekstsystemen verandert, vooral wanneer het audio-signaal ruis bevat. Ze hebben niet alleen gegokt; ze bouwden een digitale speeltuin met behulp van synthetische data (waarbij ze de ruis perfect konden controleren) en real-world data (zoals video's van lezingen en kookprogramma's) om hun theorieën te testen.

Hier is wat ze vonden, onderverdeeld in de belangrijkste ontdekkingen:

1. Meer zintuigen betekenen meestal betere resultaten, maar het hangt af van de ruis
De onderzoekers ontdekten dat het geven van meer informatie aan het model (zoals het toevoegen van een video van lippen of een dia) het over het algemeen beter maakt in het begrijpen van spraak. Het is als het hebben van een back-upplan. Echter, dit is geen wondermiddel dat altijd op dezelfde manier werkt. Het voordeel verandert afhankelijk van hoe hard het achtergrondgeluid is.

• De "Sweet Spot" voor afbeeldingen: Als je het model een afbeelding van het onderwerp laat zien (zoals een dia met een diagram) of tekst uit een document, helpt dit het meest wanneer de ruis matig is. Het is als het hebben van een kaart wanneer je een beetje verdwaald bent; het begeleidt je perfect. Maar als de ruis te hard is (zoals een orkaan), raakt het model in de war omdat de afbeelding niet overeenkomt met het vervormde geluid, en verdwijnt het voordeel.
• De "Superkracht" van de lippen: Aan de andere kant is het zien van de bewegingen van de lippen een ander verhaal. Lipbewegingen zijn gesynchroniseerd met het geluid (ze gebeuren op exact hetzelfde moment). Het artikel vond dat het lezen van lippen nuttiger wordt naarmate de ruis luider wordt. Wanneer de audio een puinhoop is, fungeert het visuele ritme van de lippen als een levenslijn, die het model helpt te begrijpen wat er gezegd is, zelfs wanneer het geluid bijna weg is.

2. Niet alle visuals zijn gelijkwaardig
Het artikel testte ook verschillende soorten visuele informatie. Ze ontdekten dat de "kwaliteit" van de visuele aanwijzing veel uitmaakt.

• Ruwe afbeeldingen versus schone tekst: Als je het model een ruwe foto van een dia geeft, moet het hard werken om te achterhalen wat de tekst zegt. Maar als je het de tekst direct geeft (zoals een digitale kopie van de woorden op de dia), presteert het model veel beter. Het is het verschil tussen proberen een wazig bord van de overkant van de straat te lezen versus het krijgen van de tekst van het bord op een schoon vel papier.
• Het "Perfecte" versus het "Echte": Ze testten zelfs een "perfecte" versie van de visuele data (waarbij de computer precies weet wat de tekst is) versus een "raster"-versie (een raster van pixels die de tekst vertegenwoordigt). Verrassend genoeg werkte zelfs de "perfecte" rasterversie niet zo goed als de schone tekst. Dit sugggeert dat deze modellen nog steeds een beetje onhandig zijn in het lezen van 2D-rasters; ze hebben betere hulpmiddelen nodig om vormen en lay-outs te "zien".

3. Te veel informatie kan slecht zijn (Het "Sequence Noise"-probleem)
Een van de meest interessante bevindingen is dat het toevoegen van irrelevante informatie de prestaties van het model daadwerkelijk kan schaden. In hun experimenten gaven ze het model soms een afbeelding met drie vergelijkingen, terwijl er slechts twee werden uitgesproken. Het model moest ontdekken welke twee het moest beluisteren. Wanneer ze zelfs nog meer irrelevante tekst aan de input toevoegden (waardoor de sequentie langer en rommeliger werd), daalde de nauwkeurigheid van het model. Het is alsoals proberen een specifieke naald in een hooiberg te vinden, maar dan komt er nog drie extra hooibergen bovenop gestort. Het model raakt overweldigd en kan de nuttige aanwijzingen niet meer vinden.

4. De "Motor" doet ertoe: Transformers versus Mamba
De onderzoekers vergeleken ook twee verschillende soorten "motoren" die deze modellen aandrijven: de beroemde Transformers en een nieuwere, snellere architectuur genaamd Mamba.

• Vergelijkbare resultaten, verschillende snelheden: Beide motoren vertoonden dezelfde trends (lippen helpen bij harde ruis, afbeeldingen helpen bij matige ruis). De Mamba-motor was echter veel sneller om te trainen en uit te voeren.
• De stabiliteitsafweging: Maar er is een addertje onder het gras. De Mamba-motor was een beetje "nerveus". Het was erg gevoelig voor hoe de onderzoekers de training instelden (zoals de learning rate). Als de instellingen ook maar iets afwijken, presteert Mamba slechter dan de stabielere Transformers. Het is als het vergelijken van een snelle racewagen (Mamba) die snel gaat maar een zeer precieze bestuurder nodig heeft, versus een betrouwbare sedan (Transformer) die langzamer is maar makkelijker te besturen is.

5. Volgorde en weging zijn belangrijk
Ten slotte toonde het artikel aan dat hoe je de informatie aan het model voert, belangrijk is.

• Wie gaat eerst? Als je de audio eerst plaatst en daarna de lippen, presteert het model beter in ruisige omstandigheden dan wanneer je de lippen eerst plaatst. Het lijkt erop dat het model het de voorkeur geeft om het "schone" deel van het geluid aan het begin van zijn aandachtspanne te horen.
• Hoeveel aandacht besteed? De onderzoekers ontdekten ook dat ze de visuele delen tijdens de training niet konden negeren. Hoewel het uiteindelijke doel alleen de tekst is, moet het model de visuele en audio-onderdelen tijdens de training "leren" om een goede indruk te maken. Als ze het model vertelden om alleen om de tekst te geven en de rest te negeren, presteerde het model er eigenlijk slechter door.

De conclusie
Dit artikel beweert niet dat het probleem van de herkenning van luidruchtige spraak voor altijd heeft opgelost. In plaats daarvan biedt het een duidelijke kaart van wanneer en hoe het toevoegen van ogen aan oren helpt. Het suggereert dat we, voor de beste resultaten, de soort visuele aanwijzing moeten afstemmen op het niveau van de ruis (lippen voor harde chaos, afbeeldingen voor matige ruis), de informatie schoon en relevant moeten houden, en onze model-"motor" zorgvuldig moeten kiezen op basis van of we snelheid of stabiliteit nodig hebben. Het is een stap voorwaarts in het leren van computers om betere detectives te zijn in een lawaaierige wereld.