A Phrase-Disjoint Fairness and Efficiency Study of a Multimodal Speech-Text Model for Medical Symptom Detection

In de stille hoekjes van medisch onderzoek, waar technologie de menselijke stem ontmoet, is een nieuwe uitdaging ontstaan die minder gaat over het bouwen van intelligentere machines en meer over het stellen van de juiste vragen. Jarenlang hebben wetenschappers computers getraind om naar patiënten te luisteren die hun symptomen beschrijven, in de hoop digitale hulpmiddelen te creëren die artsen kunnen helpen ziekten sneller en nauwkeuriger te diagnosticeren. Deze systemen zijn ontworpen om naar spraak te luisteren, de woorden te lezen en soms zelfs de emotie achter de stem te voelen om te begrijpen wat een persoon ervaart. Maar er zit een verborgen valkuil in de manier waarop deze systemen worden getest. Als de testvragen te veel lijken op de oefenvragen, kan een student een perfecte score halen, niet omdat hij het onderwerp begrijpt, maar omdat hij simpelweg de antwoorden heeft uit het hoofd geleerd. In de wereld van kunstmatige intelligentie staat dit bekend als data leakage (datalek), en het kan een computer briljant doen lijken terwijl hij in werkelijkheid alleen herhaalt wat hij al eerder heeft gezien.

Dit probleem is bijzonder lastig wanneer de data afkomstig is van mensen die steeds weer dezelfde reeks voorgeschreven zinnen voorlezen. Stel je een klaslokaal voor waar een leraar twintig leerlingen vraagt om exact dezelfde zin voor te lezen: "Ik heb hoofdpijn," maar elke leerling zegt het in zijn eigen unieke stem. Als een computer getraind is om de zin "Ik heb hoofdpijn" te herkennen als een symptoom, en vervolgens wordt getest op diezelfde zin uitgesproken door een andere leerling, kan hij het antwoord juist weten omdat hij de woorden herkent, en niet omdat hij de medische conditie begrijpt. Dit is de specifieke puzzel die een team van onderzoekers van universiteiten in India probeerde op te lossen. Zij onderzochten een grote collectie medische opnames die duizenden audiofragmenten en hun schriftelijke transcripties bevatten, verspreid over vijfentwintig verschillende soorten pijn en ongemak. Hun doel was om te zien of de hoge scores gerapporteerd door eerdere studies echte tekenen van begrip waren, of slechts een illusie gecreëerd door de manier waarop de data was georganiseerd.

De onderzoekers ontdekten dat de dataset die zij bestudeerden een zeer specifieke structuur had. Hoewel deze meer dan zes duizend opnames bevatte, waren deze allemaal gebaseerd op slechts zevenhonderd unieke zinnen. Dit betekent dat elke zin gemiddeld ongeveer negenë half keer werd opgenomen door verschillende mensen. Wanneer eerdere studies hun modellen testten met standaardmethoden, verdeelden ze de data willekeurig, wat er vaak toe leidde dat enkele kopieën van een zin in de trainingsset terechtkwamen terwijl andere in de testset belandden. Omdat de computer die exacte zin tijdens zijn training al had gehoord, kon hij simpelweg de link tussen de woorden en de diagnose onthouden. Wanneer de onderzoekers een eenvoudig tekstgebaseerd model onder deze standaardcondities testten, behaalde het een bijna perfecte nauwkeurigheid van tweeënnegentig komma drie procent. Dit cijfer zag eruit als een enorm succes, maar het team realiseerde zich dat dit misleidend was. Het model leerde niet om symptomen te herkennen uit nieuwe spraak; het riep simpelweg de zinnen op die het al had onthouden.

Om dit op te lossen, creëerde het team een nieuwe manier van testen die zij een 'phrase-disjoint split' noemen. In plaats van individuele opnames willekeurig te splitsen, groepeerden zij alle kopieën van dezelfde zin samen. Vervolgens wijsden zij elke volledige groep toe aan ofwel de trainingsset, ofwel de testset, maar nooit beide. Dit zorgde ervoor dat de computer tijdens het testen nooit een zin zou zien die hij tijdens de training niet in een volledig andere vorm had ervaren. Toen zij deze strengere, eerlijkere test toepasten op hun nieuwe model, dat audio- en tekstinformatie combineerde, daalde de resultaten drastisch. De nauwkeurigheid van het model viel naar ongeveer zestig procent. Hoewel dit getal veel lager is dan de bijna perfecte scores van voorheen, stellen de onderzoekers dat het de eerlijke waarheid is. Het laat zien dat het model daadwerkelijk probeert de symptomen te begrijpen in plaats van alleen het script te reproduceren.

Het team testte ook of het toevoegen van emotionele informatie aan de mix hielp om het model beter te laten presteren. Ze voedden het systeem met data over de stemming van de spreker, zoals hoe positief of negatief ze klonken, in de hoop dat dit de computer zou helpen betere beslissingen te nemen. Verrassend genoeg leverde deze extra informatie geen verbetering op. Sterker nog, wanneer de emotionele data werd opgenomen, daalde de nauwkeurigheid soms zelfs licht. Ze keken ook naar een specifiek onderdeel van hun model dat bepaalt hoeveel gewicht er aan de stem versus de woorden moet worden gegeven. Ze verwachtten dat dit onderdeel zou leren om de ene bron boven de andere te verkiezen afhankelijk van de situatie, maar het kwam tot de conclusie om beide bronnen een gelijk gewicht te geven, werkend als een eenvoudige, vaste schakelaar. Deze bevindingen, die de onderzoekers openlijk rapporteren als negatieve resultaten, zijn waardevol omdat ze andere wetenschappers voorkomen voor het verspillen van tijd aan het najagen van kenmerken die blijkbaar niet helpen in deze specifieken context.

Naast alleen nauwkeurigheid wilden de onderzoekers weten of het model eerlijk was tegenover alle soorten symptomen. Ze controleerden hoe goed het systeem presteerde voor elke van de vijfentwintig categorieën, van rugpijn tot huidaandoeningen. Ze ontdekten dat het model voor achttien van de categorieën betrouwbaar genoeg was om ten minste de helft van de echte gevallen te vangen. Echter, voor zeven categorieën, waaronder moeilijk te beschrijven pijnen zoals interne pijn en gewrichtspijn, miste het model meer dan de helft van de gevallen. Dit zijn de gebieden waar het systeem momenteel niet goed genoeg is om op zichzelf te vertrouwen. De studie toonde ook aan dat ze het model veel efficiënter konden maken door een techniek te gebruiken die het aantal aanpasbare onderdelen dat de computer moet leren vermindert. Deze verandering verminderde het aantal trainbare parameters met zesennegentig procent, waardoor het systeem lichter en sneller werd zonder de kernresultaten te veranderen.

De belangrijkste les van dit werk is niet een nieuwe, superkrachtige medische robot, maar een cruciale les over hoe we succes meten. De onderzoekers hebben aangetoond dat de manier waarop we data splitsen voor testen de resultaten volledig kan veranderen, of het nu een echt resultaat is of een illusie. Door een methode te gebruiken die voorkomt dat de computer onthouden zinnen herhaalt, hebben zij een eerlijker nulpunt geboden voor toekomstig werk. Hun bevindingen suggereren dat hoewel kunstmatige intelligentie grote beloften inhoudt voor de gezondheidszorg, we voorzichtig moeten zijn dat we memorisatie niet verwarren met intelligentie. De weg vooruit ligt in het bouwen van modellen die werkelijk de nuances van menselijke spraak en pijn kunnen begrijpen, in plaats van alleen de regels op te zeggen die ze hebben geleerd. Deze studie dient als een noodzakelijke correctie, die ervoor zorgt dat toekomstige vooruitgang in medische spraakherkenning wordt gebouwd op een fundament van echt begrip in plaats van statistische trucjes.