INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval

Stel je voor dat je probeert een specifieke naald in een hooiberg te vinden, maar de naald verandert van vorm afhankelijk van hoe je erom vraagt. Als je vraagt om een glimmende naald, krijg je een andere dan wanneer je vraagt om een rode naald, of een die is gevallen bij een hard geluid. Decennialang zijn computers beter geworden in het vinden van informatie, maar ze hebben grotendeels vertrouwd op een rigide systeem van overeenstemming. Als je zoekt naar een woord, zoekt de computer naar dat exacte woord. Als je zoekt naar een geluid, zoekt de computer naar een geluid dat precies klinkt als je zoekopdracht. Dit werkt goed wanneer je precies weet waarnaar je op zoek bent, maar het faalt wanneer je behoeften complexer zijn. In de echte wereld willen mensen niet alleen een opname vinden die hetzelfde klinkt; ze willen misschien een opname vinden waar de spreker boos klinkt, of waar het achtergrondgeluid het geluid van regen is, of waar de persoon die spreekt dezelfde is als degene die in een eerdere clip sprak. De uitdaging voor wetenschappers is geweest om computers te leren deze verschuivende, menselijke instructies te begrijpen in plaats van alleen statische patronen te matchen.

Een team onderzoekers aan de National Taiwan University heeft een belangrijke stap gezet naar het oplossen van dit probleem door een nieuwe testomgeving genaamd INSPIRE te creëren. Dit is geen nieuw computerprogramma dat alles oplost, maar eerder een zorgvuldig geconstrueerde benchmark die ontworere is om te zien hoe goed de huidige technologie deze flexibele instructies kan afhandelen. De onderzoekers bouwden een enorme bibliotheek van gesproken opnames en koppelden deze aan duizenden natuurlijke taalcommando's. Deze commando's variëren van eenvoudige verzoeken, zoals "vind het volgende deel van dit gesprek", tot complexe, meerlaagse eisen, zoals "vind een opname van dezelfde persoon die droevig spreekt terwijl voetstappen op de achtergrond te horen zijn". Het doel was om te zien of bestaande kunstmatige intelligentiesystemen naar een gesproken vraag en een geschreven instructie konden kijken, en vervolgens de exacte audiofragment dat aan die specifieke beschrijving voldoet, succesvol konden opsporen.

De onderzoekers testten vier verschillende soorten computersystemen om te zien hoe ze presteerden. De eerste groep bestond uit grote audio-taalmodellen, wat geavanceerde systemen zijn die zowel geluid als tekst begrijpen. De tweede groep gebruikte een "gecascadeerde pijplijn", een methode waarbij de computer eerst de gesproken audio omzet in geschreven tekst en ondertiteling, en vervolgens die tekst zoekt met standaard tekstzoektools. De derde groep vertrouwde op zelf-gesuperviseerde spraakmodellen, die leren de geluidspatronen direct te begrijpen zonder ze om te zetten naar tekst. De laatste groep gebruikte contrastieve modellen die proberen tekst en audio aan elkaar te koppelen. Het team mat hoe vaak elk systeem het juiste audiofragment succesvol vond uit duizenden foute opties.

De resultaten toonden een duidelijke en verrassende splitsing in hoe deze machines denken. De systemen die spraak eerst omzetten in tekst waren uitstekend in het vinden van fragmenten op basis van wat er daadwerkelijk werd gezegd. Als de instructie was om een specifieke zin of een voortzetting van een gesprek te vinden, presteerden deze tekstgebaseerde methoden zeer goed. Echter, ze hadden enorme moeite wanneer de instructie ging over hoe het geluid werd gemaakt. Wanneer gevraagd werd om een fragment te vinden op basis van de identiteit van de spreker, de emotionele toon, of het achtergrondgeluid, presteerden deze tekstgebaseerde systemen niet beter dan willekeurig gokken. Ze konden het verschil tussen een vrolijke stem en een droeve stem simpelweg niet "horen" zodra het geluid in woorden werd omgezet.

Aan de andere kant toonden de systemen die direct naar de geluidsgolven luisterden zonder ze in tekst om te zetten, juist de tegenovergestelde kracht. Ze waren veel beter in het herkennen van de stem van de spreker, de stijl van hun spraak, en de omgevingsgeluiden om hen heen. Maar deze systemen faalden echter wanneer de instructie vereiste dat ze de betekenis van de woorden begrepen of een complexe, meerdelige opdracht opvolgden. Ze konden de stem horen, maar ze konden de instructie niet volgen om een specifieke stem te vinden die iets specifieks op een specifieke manier zei. Zelfs de meest geavanceerde grote audio-taalmodellen, die er werden verwacht de kloof te overbruggen, konden het niet. Ze presteerden redelijk goed op sommige taken, maar schoten tekort wanneer de taak een diep begrip van zowel het geluid als de instructie tegelijkertijd vereiste.

De studie keek ook naar wat er gebeurt wanneer de computer een "referentie" krijgt van perfecte metadata, zoals precies weten wie de spreker is of wat het achtergrondgeluid is, in plaats van het uit de audio te moeten afleiden. Zelfs met deze perfecte informatie konden de tekstgebaseerde systemen nog steeds niet betrouwbaar de juiste fragmenten vinden wanneer de instructies complexe combinaties van kenmerken bevatten. Dit suggereert dat het probleem niet alleen is dat de computers slecht zijn in horen, maar dat hun huidige architectuur niet gebouwd is om instructies te verwerken die verschillende soorten informatie mengen. De onderzoekers ontdekten dat geen enkele methode die zij testten robuust kon omgaan met al de verschillende manieren waarop een mens om een geluid zou kunnen vragen.

Uiteindelijk concludeert het artikel dat het veld op een kruispunt staat. De huidige tools zijn te gespecialiseerd; sommige zijn geweldig in het lezen van het transcript maar doof voor de toon, terwijl anderen geweldig zijn in het horen van de toon maar analfabeet zijn in de instructies. De onderzoekers stellen dat de volgende generatie technologie een verenigd systeem moet zijn, één dat een geluid kan beluisteren, een complexe instructie kan lezen, en kan begrijpen dat het antwoord in de combinatie van beide ligt. Totdat een dergelijk systeem is gebouwd, blijft het vermogen om een bibliotheek van stemmen te doorzoeken met dezelfde natuurlijke eenvoud en precisie als we tekst doorzoeken, buiten bereik. Het werk biedt geen definitieve oplossing, maar brengt de terreinen duidelijk in kaart, waarbij het laat zien waar de huidige technologie faalt en waar de toekomst van spraakextractie naartoe moet gaan.