Stel je voor dat je een bibliotheek probeert te begrijpen met miljoenen boeken, maar je hebt geen catalogus, geen titels en geen enkele manier om te weten waar de boeken over gaan. Je kunt niet elke pagina lezen, dus heb je een manier nodig om deze boeken te groeperen op basis van hun verborgen thema's. Dit is de fundamentele uitdaging van topic modeling, een methode die onderzoekers gebruiken om door enorme collecties tekst te zeven — van sociale media-berichten tot medische dossiers — om de onderliggende onderwerpen te ontdekken waar mensen het over hebben. Het proces is inherent rommelig. Omdat er talloze manieren zijn om woorden en ideeën te groeperen, raakt de computer vaak in een lus, waarbij resultaten instabiel zijn of vol staan met onzin. Een model kan de ene dag een nuttig thema vinden en de volgende dag een rommelige bende van ongerelateerde woorden. Deze onzekerheid dwingt wetenschappers om dezelfde analyse keer op keer uit te voeren, instellingen aan te passen en te hopen op een beter resultaat, een proces dat traag, arbeidsintensief en vaak frustrerend is.

In een recente studie hebben onderzoekers Alex Gorbulev, Vasiliy Alekseev en Konstantin Vorontsov een manier voorgesteld om deze zoektocht naar betekenis betrouwbaarder en efficiënter te maken. In plaats van elke poging om onderwerpen te vinden als een nieuw begin te behandelen, hebben zij een methode ontwikkeld waarbij de computer leert van zijn eigen eerdere fouten. Ze noemen dit de Iteratively Updated Additive Regularized Topic Model, of ITAR. Het kernidee is eenvoudig maar krachtig: als de computer een goed thema vindt, legt het dit vast. Als het een slecht thema vindt, markeert het dit als iets om te vermijden. Vervolgens voert het de analyse opnieuw uit, waarbij het de goede ontdekkingen behoudt en actief wegstuurt van de slechte. Door deze cyclus te herhalen, bouwt het model een collectie thema's op die met elke stap verbetert, waardoor wordt gegarandeerd dat het uiteindelijke resultaat de best mogelijke mix van betekenisvolle onderwerpen bevat zonder de goede ontdekkingen onderweg te verliezen.

Om te begrijpen hoe dit werkt, moet men eerst begrijpen hoe een "onderwerp" (topic) er voor een computer uitziet. In deze modellen is een onderwerp geen label zoals "sport" of "politiek" dat een mens opschrijft. In plaats daarvan is het een specifieke lijst met woorden die de neiging hebben samen te verschijnen. Als de woorden "doel", "wedstrijd", "speler" en "team" vaak in dezelfde documenten voorkomen, groepeert de computer deze in een enkel onderwerp. Het probleem ontstaat omdat de computer niet weet welke groeperingen zinvol zijn voor een mens. De computer zou per ongeluk "doel" kunnen groeperen met "belasting" omdat beide woorden voorkomen in financieel nieuws over sportfinanciering, wat een verwarrend en nutteloos thema creëert. Traditionele methoden proberen dit op te lossen door regels, of "regularizers", toe te voegen die de computer vertellen om onderwerpen onderscheidend te houden of zich op specifieke soorten woorden te concentreren. Echter, deze regels worden meestal eenmalig aan het begin toegepast, en als de computer vroeg in het proces een fout maakt, kan die fout gedurende het hele proces aanhouden.

De aanpak van de onderzoekers verandert de workflow volledig. Zij behandelen de creatie van een topic model niet als een enkele gebeurtenis, maar als een reeks verbonden stappen. In de eerste stap genereert de computer een reeks onderwerpen. De onderzoekers sorteren deze onderwerpen vervolgens handmatig of automatisch in drie categorieën: goed, slecht en onopvallend. Goede onderwerpen zijn die welke duidelijk en betekenisvol zijn voor een menselijke lezer. Slechte onderwerpen zijn die welke verwarrend zijn, gevuld met stopwoorden of onzinnig. Onopvallende onderwerpen zijn duplicaten of neutrale groepen die geen waarde toevoegen. Zodra deze sortering is voltooid, start de computer een nieuwe ronde training. Deze keer krijgt hij een specifieke set instructies: hij moet de goede onderwerpen precies laten zoals ze zijn, hij moet voorkomen dat hij onderwerpen creëert die lijken op de slechte onderwerpen, en hij moet proberen nieuwe, verschillende goede onderwerpen te vinden om de onopvallende onderwerpen te vervangen.

Dit proces steunt op een wiskundige techniek genaamd additieve regularisatie, die fungeert als een set beperkingen die de zoektocht van de computer begeleidt. Eén deel van het systeem werkt als een geheugen, dat ervoor zorgt dat de goede onderwerpen uit de vorige ronde worden bewaard en niet verloren gaan. Een ander deel werkt als een filter, dat de computer actief wegduwt van de patronen die de slechte onderwerpen creëerden. Door deze krachten te combineren, wordt het model gedwongen zichzelf te verfijnen. Het begint niet simpelweg opnieuw; het bouwt voort op wat het al heeft geleerd. De onderzoekers testten deze methode op verschillende collecties tekst, waaronder Russische wetenschappelijke artikelen, Engelse nieuwsberichten en medische dossiers. Ze vergeleken hun nieuwe methode met verschillende populaire bestaande modellen, inclusief standaard probabilistische modellen en nieuwere op neurale netwerken gebaseerde benaderingen.

De resultaten toonden een duidelijk voordeel voor de iteratieve methode. In hun experimenten ontdekten de onderzoekers dat het nieuwe model consistent een hoger percentage goede onderwerpen cumuleerde dan welke van de andere methoden ook. Bijvoorbeeld, op een dataset van Russische wetenschappelijke artikelen produceerde het iteratieve model een definitieve set onderwerpen waarbij negentig procent als goed werd beschouwd, terwijl andere modellen typisch slechts twintig tot veertig procent behaalden. Nog belangrijker was dat de gevonden onderwerpen divers waren, wat betekent dat ze verschillende onderwerpen besloegen in plaats van dezelfde ideeën te herhalen. Hoewel het model iets minder efficiënt was in het voorspellen van het volgende woord in een zin vergeleken met de simpelste, meest basale modellen, was deze afruil de moeite waard omdat de geproduceerde onderwerpen veel bruikbaarder en interpreteerbaarder waren voor menselijke onderzoekers.

De studie onderzocht ook wat er gebeurt als de computer wordt gevraagd om meer onderwerpen te vinden. Ze testten het systeem met twintig onderwerpen en met vijftig onderwerpen. In beide gevallen bleef de iteratieve methode de anderen overtreffen en behield het een hoge kwaliteit van thema's, zelfs naarmate het aantal groepen toenam. De onderzoekers merkten op dat het proces meer rekentijd vereist omdat het de analyse meerdere keren uitvoert, maar deze extra inspanning betaalt zich uit door de eindeloze trial-and-error te elimineren die normaal gesproken het vakgebied teistert. Ze onderzochten ook of de methode goed werkte met verschillende manieren om kwaliteit te meten. Ze vonden dat het model goed presteerde, of ze de onderwerpen nu beoordeelden op hoe vaak woorden samen voorkwamen of op hoe natuurlijk de woorden in de tekst stroomden, wat suggereert dat de methode robuust is over verschillende evaluatiestandaarden heen.

Een van de meest significante bevindingen was dat de methode succesvol voorkomt dat de computer "vergeet" wat hij al goed heeft ontdekt. In traditionele benaderingen, als een model in de eerste run een geweldig onderwerp vindt maar vervolgens in de tweede run wordt afgeleid door ruis, gaat dat goede onderwerp vaak voor altijd verloren. De iteratieve methode lost dit op door de goede onderwerpen als vaste ankers te behandelen. De onderzoekers observeerden dat naarmate het aantal goede onderwerpen groeide, het model steeds gefocuster werd en uiteindelijk stopte wanneer het genoeg hoogwaardige thema's had verzameld. Ze vonden ook dat de methode goed werkt, zelfs wanneer het initiële model niet perfect is; het kan herstellen en de resultaten verbeteren over verschillende rondes.

De auteurs waren zorgvuldig om de beperkingen van hun werk aan te stippen. De methode is afhankelijk van het vermogen om onderwerpen in goede en slechte categorieën te sorteren, wat momenteel enige menselijke oordeelsvorming of een zeer specifieke geautomatiseerde regel vereist. Als de criteria voor wat een onderwerp "goed" maakt onduidelijk zijn, kan het systeem moeite hebben om te weten wat het moet behouden. Daarnaast kan de methode, omdat het vereist dat het model meerdere keren wordt uitgevoerd, trager zijn voor extreem grote datasets waar tijd een kritieke factor is. Ze merkten ook op dat hoewel hun methode goed werkt met het specifieke wiskundige kader dat zij gebruikten, het nog niet is getest op andere soorten neurale netwerkmodellen, wat de vraag open laat of deze iteratieve aanpak kan worden aangepast aan andere systemen.

Uiteindelijk biedt dit onderzoek een praktische oplossing voor een langlopend probleem in tekstanalyse. Door het proces te veranderen van een reeks geïsoleerde pogingen naar een continue, cumulatieve leercyclus, hebben de onderzoekers aangetoond dat het mogelijk is om een computer naar betere resultaten te leiden zonder het antwoord vooraf te hoeven kennen. Het model vindt niet alleen onderwerpen; het leert hoe het ze telkens beter kan vinden. Deze aanpak transformeert de zoektocht naar betekenis in tekst van een spel van kans naar een meer deterministisch en betrouwbaar proces, waardoor onderzoekers zich kunnen richten op de inzichten die de onderwerpen bieden in plaats van op de strijd om de computer de onderwerpen te laten vinden. Het werk suggereert dat in de complexe wereld van data-analyse, soms de beste manier vooruit niet is om opnieuw te beginnen, maar om zorgvuldig voort te bouwen op wat er al is ontdekt.