CMTD: Cascaded Multi-Token Disambiguation Model for Lip Reading

Stille spraakherkenning is een vakgebied binnen de computerwetenschap dat zich richt op het begrijpen van wat mensen zeggen door alleen naar hun lippen te kijken, zonder een enkel geluid te horen. Deze capaciteit is essentieel voor situaties waarin audio ontbreend of onbetrouwbaar is, zoals in lawaaierige fabrieken, onderwateromgevingen, of voor mensen die doof zijn en vertrouwen op visuele signalen. Het aanleren van het lezen van lippen aan een computer is echter berucht moeilijk, omdat de menselijke mond op zichzelf een slechte communicator van klanken is. Veel verschillende klanken, zoals de letters "b" en "p", creëren bijna identieke mondvormen, terwijl dezelfde klank er iets anders uit kan zien afhankelijk van de woorden eromheen. Deze visuele verwarring betekent dat een computer die naar een video kijkt, een mondvorm kan zien die bij verschillende woorden zou kunnen horen, waardoor de machine moet gokken. Om dit op te lossen, hebben onderzoekers traditioneel geprobeerd de "ogen" van de computer scherper te maken om subtiele verschillen te zien, of ze hebben een woordenboek van veelvoorkomende zinnen toegevoegd om te helpen bij het raden van de ontbrekende woorden. Toch worstelen deze methoden vaak wanneer het visuele bewijs simpelweg te ambigu is om te beslissen tussen twee vergelijkbare opties.

Een team onderzoekers van de Hefei University of Technology heeft een nieuwe aanpak voorgesteld die verandert hoe de computer over de toekomst nadenkt terwijl hij de tegenwoordige tijd leest. Ze noemen hun systeem CMTD, een model dat is ontworpen om visuele verwarring op te lossen door vooruit te kijken. In plaats van alleen te proberen het volgende woord in isolatie te raden, voorspelt het systeem gelijktig een korte opeenvolging van komende woorden terwijl het nog steeds de huidige woorden aan het decoderen is. Stel je een lezer voor die, terwijl hij naar een enkel woord op een pagina kijkt, ook naar de volgende paar woorden kijkt om de volledige zin te begrijpen; deze context helpt hen te beslissen of een wazig woord "bank" (zoals in geld) of "bank" (zoals een rivieroever) is. De onderzoekers hebben een model gebouwd dat precies dit doet voor het lezen van lippen. Het genereert een primaire gok voor het huidige moment en gebruikt die gok tegelijkertijd om een keten van voorspellingen voor de directe toekomst te vormen. Door te controleren of de huidige gok logisch past bij de voorspelde toekomstige woorden, kan het systeem opties wegwerpen die er visueel wel goed uitzien, maar geen zin maken in de context van de zin.

De kern van deze nieuwe methode is een gecascadeerde structuur waarbij de voorspelling van het ene moment direct wordt gevoed aan de voorspelling van het volgende, wat een continue keten van redeneren creëert. Het systeem kijkt niet alleen naar de videoframes; het houdt ook een intern geheugen bij van wat het zojuist heeft voorspeld en gebruikt dat geheugen om te voorspellen wat er volgt. Als de video een mondvorm laat zien die zowel "bao" als "biao" kan zijn (twee Chinese karakters die er zeer vergelijkbaar uitzien), kijkt het systeem naar wat er daarna wordt voorspeld. Als de toekomstige voorspelling wijst op een woord dat alleen zin maakt met "biao", selecteert het systeem met vertrouwen die optie, zelfs als het visuele bewijs voor het huidige woord zwak was. Dit proces vindt plaats in lagen: het model maakt een hoofdvoorspelling, dan een tweede voorspelling voor de volgende stap, en een derde voor de stap daarna. Deze voorspellingen zijn geen onafhankelijke gokken; ze zijn aan elkaar gekoppeld zodat de fout in de een niet de anderen verstoort. De onderzoekers hebben het model getraind om prioriteit te geven aan het correct krijgen van het onmiddellijke volgende woord, terwijl het tegelijkertijd leert van de langere keten van toekomstige woorden, om er zeker van te zijn dat het systeem stabiel blijft en niet in de war raakt door zijn eigen verre gokken.

Wanneer het systeem daadwerkelijk een video leest, gebruikt het een strategie genaamd future-token-aware inference om te beslissen wanneer het zijn ogen moet vertrouwen en wanneer het hulp moet vragen. Het genereert verschillende mogelijke paden van woorden op basis van zijn visuele observaties en zijn toekomstige voorspellingen. Vervolgens controleert het hoe zeker het is van zijn visuele lezing. Als het visuele bewijs sterk en duidelijk is, kiest het systeem simpelweg de beste optie en gaat het verder. Echter, als het visuele bewijs zwak is en het systeem onzeker is, roept het een taalmodel aan—een apart hulpmiddel dat getraind is op enorme hoeveelheden tekst—om de opties te herrangschikken op basis van hoe waarschijnlijk ze zijn in een echte zin. Dit zorgt ervoor dat de computer alleen vertrouwt op linguïstische gokken wanneer de visuele data werkelijk ambigu is, wat voorkomt dat het duidelijke visuele aanwijzingen negeert ten gunste van statistische gokken. Dit evenwicht stelt het systeem in staat trouw te blijven aan wat het ziet, terwijl het context gebruikt om de puzzels op te lossen die visie alleen niet kan oplossen.

De onderzoekers testten dit nieuwe model op twee belangrijke datasets: één die duizenden Chinese zinnen bevat uit nieuwsbulletins en een andere met Engelse zinnen gesproken door een vaste groep mensen. Op de Chinese dataset presteerde het nieuwe model aanzienlijk beter dan eerdere methoden, waarbij het de foutmarge met een substantiële marge verminderde vergeleken met systemen die alleen vertrouwden op betere visuele kenmerken of vaste linguïstische regels. Het slaagde erin om visueel vergelijkbare karakters veel nauwkeuriger te onderscheiden dan zijn voorgangers. Op de Engelse dataset behaalde het model resultaten die concurrerend waren met de beste bestaande systemen, hoewel de verbetering minder spectaculair was omdat de Engelse zinnen die in de test werden gebruikt erg eenvoudig waren en een beperkte woordenschat hadden, waardoor er minder ruimte was voor de geavanceerde contextvaardigheden van het systeem om te schitteren. De experimenten toonden aan dat het vermogen van het model om vooruit te kijken en voorspellingen aan elkaar te koppelen de sleutelfactor was in zijn succes, wat bewees dat het begrijpen van de flow van een zin net zo belangrijk is als het helder zien van de mondbewegingen.

De studie onderzocht ook waarom het simpelweg kopiëren van methoden die gebruikt worden voor tekstgeneratie niet werkte voor het lezen van lippen. Wanneer de onderzoekers probeerden parallelle voorspellingsvertakkingen te gebruiken die niet met elkaar communiceerden, of methoden die vertrouwden op het kennen van de juiste toekomstige antwoorden tijdens de training, faalde het systeem in het behouden van nauwkeurigheid terwijl het verder in de toekomst keek. De fouten stapelden zich op, en de voorspellingen werden onbetrouwbaar. De gecascadeerde aanpak, waarbij het systeem zijn toekomstige voorspellingen stap voor stap opbouwt vanuit zijn eigen vorige gokken, bleek de enige manier om stabiliteit te behouden. Bovendien ontdekten de onderzoekers dat het voorspellen van te veel toekomstige woorden tegelijkertijd de prestaties verslechterde, wat suggereert dat een gematigde hoeveelheid context het ideale punt is voor dit type visuele taak. Door het aantal toekomstige voorspellingen te beperken en het belang van elke stap zorgvuldig af te wegen, leerde het systeem een balans te vinden tussen onmiddellijke visuele nauwkeurigheid en langetermijncontext.

Uiteindelijk demonstreert dit werk dat het oplossen van de ambiguïteit van het lezen van lippen meer vereist dan alleen scherpere camera's of grotere woordenboeken; het vereist een model dat de narratieve flow van spraak begrijpt. Door toekomstige context direct in het decodeerproces te integreren, kan het CMTD-model onderscheid maken tussen woorden die er op de lippen identiek uitzien maar bij verschillende zinnen horen. De resultaten suggereren dat deze aanpak een robuuste manier biedt om de inherente onzekerheid van visuele spraak aan te pakken, wat een belangrijke stap voorwaarts is voor technologie die afhankelijk is van stille communicatie. Hoewel de huidige tests werden uitgevoerd op gecontroleerde, hoogwaardige videodata, legt het succes van de methode een fundament voor toekomstige systemen die misschien ooit de rommeligere, meer onvoorspelbare omstandigheden van alledaagse gesprekken kunnen aan.