When Do LLMs Actually Help? Evaluating LLMs as Data Quality Annotators

In de uitgestrekte, zoemende infrastructuur van de moderne commercie is data de valuta die de lichten aan houdt. Elke keer dat een klant naar een product zoekt, een aanbeveling ontvangt of een prijsupdate ziet, wordt er een enorme database geraadpleegd. Maar deze databases zijn rommelig. Ze zitten vol met dubbele vermeldingen, verkeerd gespelde merknamen en records die op elkaar lijken maar naar verschillende dingen verwijzen. Decennialang hebben bedrijven vertrouwd op rigide, op regels gebaseerde systemen om deze rommel op te ruimen. Deze systemen werken als een strikte bibliothecaris die controleert of twee boektitels exact hetzelfde gespeld zijn; als ze dat zijn, zijn de boeken hetzelfde. Als ze dat niet zijn, zijn ze verschillend. Deze aanpak is snel en betrouwbaar, maar het loopt vast wanneer de data ingewikkelder wordt, zoals wanneer een product onder een bijnaam of een dochteronderneming wordt vermeld. Onlangs is er een nieuw type computerprogramma, bekend als een groot taalmodel, op het toneel verschenen. Deze modellen zijn getraind op enorme hoeveelheden tekst en kunnen context en betekenis begrijpen op een manier die eenvoudige regels niet kunnen. Ze beloven te fungeren als intelligente redacteuren die fouten opsporen die een rigide checklist zou missen. Maar terwijl organisaties overwegen hun oude tools te vervangen door deze nieuwe, flexibele instrumenten, blijft een cruciale vraag over: zijn deze intelligente redacteuren werkelijk consistent, en bieden ze echt een voordeel ten opzichte van de oude methoden, of is het slechts dure gokwerk?

Een onderzoeker in Kathmandu zette zich in om dit te beantwoorden door een specifiek groot taalmodel te testen op twee veelvoorkomende taken op het gebied van datakwaliteit. De eerste taak was entiteitsmatching, wat inhoudt dat men moet beslissen of twee productvermeldingen exact hetzelfde item beschrijven. De onderzoeker testte het model tegen een dataset van meer dan tweeduizend paren productrecords en vergeleek de prestaties met een eenvoudig, op regels gebaseerd systeem dat zocht naar overlappende woorden. De resultaten waren verrassend. Het eenvoudige, op regels gebaseerde systeem, dat vertrouwde op het tellen van gedeelde woorden, presteerde bijna perfect en identificeerde matches correct in negentig vijf procent van de gevallen. Het grote taalmodel, dat gebruikmaakte van een eenvoudige prompt zonder speciale instructies, presteerde even goed en behaalde bijna dezelfde score. In dit specifieke scenario, waarbij productnamen grotendeels letterlijk waren en veel woorden deelden, bood de geavanceerde intelligentie van het model geen echt voordeel ten opzichte van de basismethode van het tellen van woorden. Het model werd niet slimmer; het kwam simpelweg overeen met de prestaties van de oudere, goedkopere tool.

Het verhaal veranderde toen de onderzoeker het model testte op een andere probleemstelling: het detecteren van merkverkeerdheden. Hier was de taak om te bepalen of een product aan de juiste fabrikant was toegewezen. De onderzoeker creëerde een testset van vijfhonderd productvermeldingen, waarvan sommige doelbewust waren verwisseld met de verkeerde merknamen. Het eenvoudige, op regels gebaseerde systeem, dat controleerde of de naam van de fabrikant letterlijk in de producttitel voorkwam, faalde hard. Het markeerde bijna elk item als een fout omdat het niet kon begrijpen dat een product gemaakt kan worden door een moederbedrijf of verkocht kan worden onder een dochternaam. Het grote taalmodel putte echter uit zijn interne kennis over hoe merken met elkaar verband houden. Het herkende dat een product dat gelabeld was met een beursgenoteerde afkorting (stock ticker) eigenlijk werd gemaakt door de volledige bedrijfsnaam, en het identificeerde deze relaties correct. In deze taak presteerde het model aanzienlijk beter dan het op regels gebaseerde systeem, waarbij het fouten oppikte die de eenvoudige checklist volledig miste. Dit bewees dat de waarde van het model volledig afhangt van de taak: het blinkt uit wanneer de taak vereist dat er context en achtergrondkennis wordt begrepen, maar het biedt weinig voordeel wanneer het antwoord simpelweg in de tekst te vinden is.

Naast nauwkeurigheid onderzocht de studie ook een verborgen gevaar bij het gebruik van deze modellen: consistentie. Als een menselijke redacteur hetzelfde document twee keer leest, zou hij hetzelfde antwoord moeten geven. Als een computerprogramma telkens een ander antwoord geeft wanneer er om dezelfde vraag wordt gevraagd, wordt het onbetrouwbaar voor geautomatiseerde besluitvorming. De onderzoeker liet het model de twee honderd matching-taken vijf keer achter elkaar uitvoeren, waarbij een kleine mate van willekeur in het denkproces werd toegestaan. De resultaten toonden een bijna perfect niveau van overeenstemming. Het model gaf bij negentig negen procent van de items in alle vijf de runs exact hetzelfde antwoord. Dit hoge niveau van stabiliteit suggereert dat het model, voor deze specifieke soorten binaire beslissingen, geen chaotische orakel is maar een betrouwbare werker. De studie vond echter ook dat het proberen om het model "slimmer" te maken door meer voorbeelden aan de instructies toe te voegen, averechts kon werken. Wanneer de onderzoeker probeerde de prestaties van het model op de matching-taak te verbeteren door het specifieke voorbeelden te geven van hoe het met productcodes moet omgaan, presteerde het model op de volledige dataset zelfs slechter dan met de eenvoudige instructies. Het model had overgecorrigeerd, werd te afhankelijk van de codes en miste geldige matches die deze niet hadden. Dit diende als een waarschuwing dat het testen van een nieuwe instructie op een kleine steekproef misleidend kan zijn; wat werkt op een handvol voorbeelden, werkt niet altijd voor het geheel.

De uiteindelijke conclusie is een genuanceerde gids voor iedereen die deze tools wil gebruiken. Grote taalmodellen zijn geen toverstaf die automatisch alle dataproblemen oplost. Het zijn krachtige instrumenten die uitblinken wanneer de taak begrip vereist van de wereld achter de woorden, zoals weten dat twee verschillende namen bij hetzelfde bedrijf horen. Maar wanneer de data recht door zee is en de antwoorden in het volle zicht liggen, is een eenvoudige, traditionele methode vaak net zo goed en veel minder kostbaar. De studie suggereert dat organisaties niet moeten aannemen dat deze modellen in elke situatie superieur zijn. In plaats daarvan moeten ze ze testen op hun specifieke problemen om te zien of het vermogen van het model om context te begrijpen daadwerkelijk nodig is. Als de data schoon is en de regels duidelijk, zijn de oude methoden mogelijk nog steeds de beste keuze. Als de data rommelig is en de relaties complex zijn, kan het model de sleutel zijn tot het ontdekken van de waarheid. De weg vooruit is niet om alle oude systemen te vervangen door nieuwe, maar om het juiste gereedschap te kiezen voor de specifieke taak die voorhanden is.