The Eloquence team submission for task 1 of MLC-SLM challenge

Stel je voor dat je een superintelligente robot probeert te leren om te luisteren naar een bruisend, lawaaierig feestje waar mensen verschillende talen spreken, over elkaar heen schreeuwen en grappen vertellen die alleen zin hebben als je je herinnert wat er vijf minuten geleden werd gezegd. Dit is de wereld van meertalige conversationele spraakherkenning. Lange tijd hanteerden computers dit door te werken als een estafette: een mens (of een machine) zou eerst precies opschrijven wat er werd gezegd (transcriptie), en vervolgens zou een tweede machine die tekst lezen om de betekenis te begrijpen. Maar deze estafette heeft een gebrek: als de eerste hardloper struikelt en het verkeerde woord opschrijft, raakt de tweede hardloper in de war en wordt de hele boodschap onverstaanbaar. Bovendien mist de tweede hardloper het gevoel van de stem—de toon, de snelheid en de emotie—omdat hij alleen de tekst krijgt.

Om dit op te lossen, bouwen wetenschappers Speech Language Models (SLMs). Denk aan deze als een enkele, alwetende hersenpan die de geluidsgolven direct kan horen en tegelijkertijd de betekenis begrijpt, zonder dat er eerst een tussenpersoon nodig is om dingen op te schrijven. Het is alsof je een upgrade uitvoert van een robot die een mens nodig heeft om een vreemde taal te vertalen voordat hij een grap kan begrijpen, naar een robot die de grap in de oorspronkelijke taal kan horen en op het juiste moment kan lachen. De grote vraag die onderzoekers zich stellen is: Hoe maken we deze robots echt goed in het begrijpen van rommelige, echte gesprekken in veel verschillende talen tegelijkertijd?

In dit artikel besloot een team van onderzoekers van het "Eloquence"-project (een groep gefinancierd door de Europese Unie) een feestje te geven voor deze AI-hersenen om te zien welke het beste kon luisteren. Ze namen deel aan een wedstrijd genaamd de MLC-SLM Challenge, die specifiek was ontworpen om te testen hoe goed AI meertalige gesprekken kan afhandelen. Hun doel was niet alleen om een robot te bouwen die kan horen; ze wilden een robot bouwen die de context van een gesprek begrijpt, zoals weten dat "het is koud" in de ene situatie "zet de verwarming aan" kan betekenen, maar in een andere situatie "ik draag een jas".

Het team probeerde drie verschillende strategieën om te zien welke aanpak hun AI de beste luisteraar zou maken.

Ten eerste, ze controleerden de regels van het spel.
Voordat ze iets nieuws probeerden uit te vinden, keken ze naar de "officiële baseline"—de standaard opstelling die door de organisatoren van de wedstrijd werd verstrekt. Zie dit als de "startkit" die iedereen krijgt. Ze testten deze kit met verschillende soorten "hersenen" (Large Language Models) en verschillende manieren om de oren (audio encoders) aan de hersenen te koppelen. Ze ontdekten dat het simpelweg aanpassen van de verbinding geen groot verschil maakte. Het was alsoos een langzame auto proberen te repareren door de kleur van de wielen te veranderen; de motor was hetzelfde, dus de snelheid veranderde niet veel. Ze probeerden ook een chique nieuwe verbindingsmethode genaamd een "Q-Former", maar dat loste het probleem ook niet magisch op.

Ten tweede, ze bouwden hun eigen aangepaste motor.
Dit was hun meest succesvolle poging. Ze gebruikten een framework genaamd SLAM-ASR, wat een hightech werkplaats is voor het bouwen van spraakrobots. Ze combineerden een krachtige audio-luisteraar (Whisper Large V3 Turbo) met een specifiek type brein genaamd EuroLLM 1.7B. Om dit brein de audio te laten begrijpen, bouwden ze een aangepaste "vertaler" (een lineaire projector) die geluid omzet in een taal die het brein begrijpt.

Hier werden ze creatief: ze probeerden de robot te onderwijzen door hem met "ruizige" oefendata te voeden. Ze simuleerden slechte audio-omstandigheden—zoals het toevoegen van statische ruis, het versnellen van stemmen of het verschuiven van de toonhoogte—om de robot te laten oefenen in een zware omgeving. Ze hoopten dat dit de robot weerbaarder zou maken, zoals een bokser die traint met gewichten aan zijn benen. Echter, de resultaten waren een beetje gemengd. Hoewel de ruis-training in sommige specifieke gevallen hielp, maakte het hun beste robot niet beter dan hij al was. Sterker nog, hun beste systeem, dat het EuroLLM 1.7B-brein gebruikte met een speciale trainingstechniek genaamd LoRA (wat lijkt op het toevoegen van een lichtgewicht, verstelbaar trainingsvest aan het brein in plaats van het hele brein te herbouwen), eindigde op de 13e plaats van de 24 teams. Het was niet de winnaar, maar het bewees dat een kleiner, bevroren brein met een slimme vertaler nog steeds een geweldige indruk kan maken.

Ten derde, ze probeerden de robot "geheugen" te geven.
Echte gesprekken bestaan niet uit slechts één zin per keer; ze zijn een stroom van ideeën. Als iemand zegt: "Het regent," en later zegt: "Ik ben mijn paraplu vergeten," dan heeft de tweede zin alleen zin vanwege de eerste. Het team probeerde de AI dit soort geheugen te geven door de vorige zin uit het gesprek als context mee te voeren. Ze probeerden ook een techniek genaamd contrastive learning, wat lijkt op een spelletje "zoek de verschillen". Ze lieten de AI paren zinnen zien die bij elkaar horen en paren die dat niet horen, waardoor de AI gedwongen werd het verschil te leren tussen een logisch gesprek en een willekeurige verzameling woorden.

De resultaten hier waren interessant. Toen ze de "geheugen" (context) en het "zoek de verschillen"-spel (contrastive learning) toevoegden, werd de AI beter in het begrijpen van het gesprek, waarbij de foutmarge daalde naar 17,18% op hun testset. Ze merkten echter iets vreemds op: wanneer ze probeerden het "trainingsvest" (LoRA) te combineren met het geheugen en de contrastive learning, werd de prestatie zelfs slechter. Ze vermoeden dat dit komt doordat ze de robot niet genoeg tijd hebben gegeven om te leren (slechts twee trainingssessies), waardoor de extra complexiteit de boel in de war bracht.

Wat hebben ze geleerd?
Het team ontdekte dat je niet altijd de grootste, duurste hersenen nodig hebt om spraak te begrijpen. Een kleiner, bevroren brein (EuroLLM 1.7B) gecombineerd met een slimme, goed getrainde vertaler kan zeer effectief zijn. Ze leerden ook dat het geven van een beetje "gesprekshistorie" de AI helpt om het verhaal beter te begrijpen, maar dat je voorzichtig moet zijn om de training niet te compliceren.

Uiteindelijk suggereren de Eloquence-experts dat de toekomst van spraakherkenning ligt in het combineren van deze slimme, efficiënte architecturen met een dieper begrip van hoe mensen daadwerkelijk praten—door de flow van het gesprek in gedachten te houden, in plaats van alleen naar geïsoleerde woorden te luisteren. Ze van plan om te blijven onderzoeken hoe ze talen kunnen mengen en nog complexere taken kunnen afhandelen, in de hoop robots te bouwen die ons niet alleen horen, maar ons ook echt begrijpen.