Repeatability is not recovery: Quantifying algorithmic stability and topic recovery in Latent Dirichlet Allocation
Dit artikel toont aan dat de herhaalbaarheid van Latent Dirichlet Allocation (LDA) outputs bij herhaalde runs niet garandeert dat de onderliggende thema's accuraat worden teruggevonden, waarbij wordt betoogd dat interne stabiliteit en het terugvinden van de grondwaarheid afzonderlijke eigenschappen zijn die apart geëvalueerd moeten worden om misleidende conclusies te voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, ongelabelde oceanen van menselijke teksten, van oude manuscripten tot moderne berichten op sociale media, liggen verborgen patronen te wachten om gevonden te worden. Deze patronen zijn groepen woorden die vaak samen voorkomen en zo de onzichtbare thema's of "onderwerpen" vormen die een verzameling tekst haar betekenis geven. Decennialang hebben wetenschappers wiskundige hulpmiddelen gebruikt om door deze bergen woorden te zeven, in de hoop deze verborgen thema's automatisch naar boven te halen. Het doel is om een computer een bibliotheek aan documenten te laten lezen en ons te laten zeggen: "Dit zijn de belangrijkste onderwerpen die besproken worden." Dit proces wordt topic modelling genoemd, en het is een standaardmethode geworden om alles te begrijpen, van historische archieven tot medische dossiers. Omdat computers echter een beetje willekeur gebruiken om deze patronen te vinden, kan het herhaaldelijk uitvoeren van dezelfde analyse op dezelfde tekst soms licht afwijkende resultaten opleveren. Lange tijd namen onderzoekers aan dat als een computer keer op keer dezelfde thema's vond, hij de "ware" thema's die in de data verborgen lagen, wel gevonden moest hebben.
Een team onderzoekers aan de Universiteit van Adelaide heeft deze aanname uitgedaagd door aan te tonen dat het feit dat een computer consistent is, niet betekent dat hij correct is. Ze zetten zich in om te testen of het vermogen van een topic model om zijn eigen bevindingen te herhalen, hetzelfde is als het vermogen om de werkelijke waarheid te achterhalen. Om dit te doen, creëerden ze een gecontroleerd experiment waarbij ze het antwoord al wisten voordat ze begonnen. Ze genereerden vijftig verschillende sets gesimuleerde tekst, elk gebouwd vanuit een bekende, verborgen structuur van tien onderscheidende onderwerpen. Vervolgens draaiden ze hun algoritme voor het vinden van onderwerpen vijftig keer op deze teksten, waarbij ze voor elke run een andere willekeurige startpositie gebruikten. Door de resultaten van deze herhaalde runs te vergelijken met de bekende waarheid die ze in de simulatie hadden ingebouwd, konden ze precies zien hoe goed de computer presteerde.
De onderzoekers ontdekten een verrassende kloof tussen consistentie en nauwkeurigheid. Ze ontdekten dat het algoritme erg goed was in het zijn van consistent; wanneer ze het meerdere keren draaiden, produceerde het bijna altijd dezelfde set onderwerpen. Echter, die herhaalde onderwerpen waren niet altijd hetzelfde als de ware onderwerpen die ze in de data hadden geplant. In veel gevallen vond de computer met veel vertrouwen en herhaaldelijk het verkeerde antwoord. Het was alsovergelijkbaar met het feit dat het algoritme had geleerd om een specifiek patroon te vinden dat op een onderwerp leek, maar dat niet het werkelijke onderwerp was waarop de data was gebouwd. Dit onderscheid is cruciaal omdat we in de echte wereld, waar we de verborgen waarheid niet kennen, vaak vertrouwen op herhaalbaarheid als een teken van kwaliteit. Deze studie laat zien dat herhaalbaarheid een maatstaf is voor hoe stabiel het proces van de computer is, en geen garantie dat hij het juiste antwoord heeft gevonden.
Om een duidelijker beeld te krijgen, bekeken het team de data op drie verschillende manieren. Ten eerste vergeleken ze de volledige lijst van woorden en hun waarschijnlijkheden voor elk onderwerp. Ten tweede keken ze alleen naar de tien belangrijkste woorden voor elk onderwerp, wat de manier is waarop mensen deze resultaten gewoonlijk lezen en interpreteren. Ten derde controleerden ze de volgorde waarin die topwoorden verschenen. Ze ontdekten dat het algoritme veel beter was in het vinden van de juiste topwoorden en hun volgorde dan in het correct krijgen van de volledige wiskundige distributie. Voor de meest duidelijke, gescheiden onderwerpen kon de computer de kernwoorden en hun rangschikking nauwkeurig identificeren. Maar voor onderwerpen die meer gemengd of overlappend waren, waren de herhaalde resultaten van de computer consistent met elkaar, terwijl ze toch afweken van de ware structuur.
De onderzoekers testten hun methode ook op een real-world dataset van twintig duizend berichten van twintig verschillende online discussiegroepen, variërend van religie tot sport. Omdat ze de exacte wiskundige structuur van deze echte data niet kenden, konden ze "recovery" (het herstellen van de waarheid) niet op dezelfde manier meten, maar ze konden nog steeds de consistentie meten. Ze ontdekten dat de maten van consistentie het laagst waren wanneer het aantal onderwerpen overeenkwam met de twintig bekende categorieën van de discussiegroepen. Dit suggereert dat het algoritme het meest stabiel was wanneer het probeerde een aantal onderwerpen te vinden dat aansloot bij de werkelijke structuur van de data. Andere kwaliteitsmaten, die keken naar hoe coherent de woorden binnen een onderwerp leken, wezen echter op een ander aantal onderwerpen. Dit bevestigt het idee dat verschillende manieren om succes te meten verschillende verhalen kunnen vertellen.
De uiteindelijke les is dat in de wereld van automatische tekstanalyse een stabiel resultaat niet noodzakelijkerwijs een correct resultaat is. Een topic model kan zeer herhaalbaar zijn en elke keer dat het draait dezelfde thema's produceren, terwijl het nog steeds de ware onderliggende structuur van de data mist. De onderzoekers concluderen dat wetenschappers en analisten een herhaalbare output niet moeten beschouwen als bewijs dat de onderwerpen correct zijn. In plaats daarvan moeten ze kijken naar herhaalbaarheid, nauwkeurigheid en de coherentie van de woorden samen. Als een model consistent is maar de onderwerpen geen zin maken, of als de woorden coherent zijn maar het model onstabiel is, dan zijn de resultaten incompleet. Door te begrijpen dat herhaalbaarheid niet hetzelfde is als recovery, kunnen we deze krachtige instrumenten zorgvuldiger gebruiken, wetende dat het twee keer vinden van hetzelfde patroon niet betekent dat we de waarheid hebben gevonden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.