A Multi-Model, Multi-Domain Benchmark of Large Language Model Agreement with Humans and with Each Other in Sentiment Classification
Dit artikel presenteert een multi-domein benchmark die vijf grote taalmodellen, een regelgebaseerde lexicon en een supervised transformer evalueert tegenover menselijke annotaties, waarbij wordt onthuld dat hoewel topmodellen zoals Claude Opus 4.7 en GPT-5.5 een sterke afstemming met mensen bereiken, er aanzienlijke onenigheid blijft bestaan tussen modellen en met menselijke labels—met name bij informele tekst—wat aantoont dat modelselectie de uitkomsten van sentimentclassificatie materieel beïnvloedt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van computers die taal kunnen lezen en begrijpen, bestaat er een taak die even oud is als het internet zelf: uitzoeken of een stuk tekst blij, verdrietig of gewoon feitelijk is. Dit wordt sentimentanalyse genoemd. Jarenlang hebben mensen deze hulpmiddelen gebruikt om te raden hoe de aandelenmarkt zal reageren op een nieuwsbericht, om te zien of klanten boos zijn op een product, of om de publieke stemming tijdens een gezondheidscrisis te volgen. Onlangs is er een nieuwe generatie van deze computerprogramma's gearriveerd, bekend als grote taalmodellen (large language models). Dit zijn dezelfde soorten systemen die verhalen kunnen schrijven, vragen kunnen beantwoorden en gesprekken kunnen voeren. Omdat ze zo goed zijn in het begrijpen van menselijke taal, zijn veel mensen begonnen deze modellen te gebruiken voor het sorteren van tekst op emotie, in de hoop het trage, dure werk van menselijke beoordelaars te vervangen door één enkele computeropdracht.
Maar er is een probleem met deze nieuwe aanpak. Net zoals verschillende mensen het oneens kunnen zijn over de vraag of een filmrecensie sarcastisch of oprecht is, kunnen deze verschillende computerprogramma's ook niet met elkaar eens zijn. Het ene programma kan een zin "positief" noemen, terwijl een ander precies dezelfde zin "negatief" noemt. Als een bank of een ziekenhuis deze hulpmiddelen gebruikt om belangrijke beslissingen te nemen, doet het er diep toe welke ze kiezen. Tot nu toe had niemand systematisch gecontroleerd hoe goed deze verschillende programma's met elkaar overeenstemmen, of hoe vaak ze overeenstemmen met werkelijke menselijke beoordelaars, wanneer ze allemaal naar dezelfde tekst kijken.
Een onderzoeker genaamd Aneesh K Sajan besloot deze vraag te beantwoorden door een grootschalig, gecontroleerd experiment uit te voeren. Hij verzamelde vijf van de meest geavanceerde taalmodellen die momenteel beschikbaar zijn van vier verschillende technologiebedrijven, samen met twee oudere, eenvoudigere hulpmiddelen die als basis dienen. Hij voerde ze in totaal 8.872 zinnen toe afkomstig uit vijf verschillende datasets. Deze zinnen kwamen uit een mix van bronnen: formele financiële rapporten, informele sociale media-berichten, filmrecreviews en earnings calls (kwartaalcijfergesprekken). Het doel was om te zien of de computers de emotie in de tekst correct konden identificeren in vergelijking met hoe mensen het hadden gelabeld, en nog belangrijker, om te zien hoe vaak de computers met elkaar overeenkwamen.
De resultaten toonden een duidelijke splitsing in prestaties. Twee modellen, één van een bedrijf genaamd Anthropic en een ander van OpenAI, vielen op als de meest nauwkeurige. Wanneer deze twee naar formele financiële teksten keken, kwamen ze bijna perfect overeen met menselijke oordelen. Ze stemden ook voor bijna 90 procent van de geanalyseerde zinnen met elkaar overeen. Een derde model van OpenAI volgde vlak daarachter en vormde een hechte groep hoogpresterende tools die de wereld over het algemeen op dezelfde manier zagen. Een model van Google, dat echter ontwor aan de hand van een proces is ontworpen om problemen eerst te "doordenken" voordat het antwoordt, presteerde schokkend slecht. Het gaf het sentiment zo vaak fout aan dat de resultaten nauwelijks beter waren dan willekeurig gokken. De onderzoeker testte een specifieke theorie om te zien of dit falen kwam doordat het Google-model te veel tijd besteedde aan het nadenken over eenvoudige vragen, een fenomeen dat bekend staat als "overthinking". Hij dwong het model om met een veel kortere denktijd te antwoorden, maar de slechte prestaties bleven onveranderd. Dit sprak de gedachte tegen dat het model simpelweg de taak te veel analyseerde; het falen was inherent aan hoe dat specifieke model zich in deze opstelling gedroeg.
Een ander open-source model, dat op een eigen computer van een onderzoeker kan worden gedraaid in plaats van op een cloudserver, presteerde redelijk goed. Het was niet zo nauwkeurig als de top commerciële modellen, maar het was aanzienlijk beter dan de oudere, op regels gebaseerde tools die jarenlang zijn gebruikt. De studie vond ook dat het type tekst er sterk toe deed. Alle modellen waren veel beter in het begrijpen van formele, professionele teksten dan in het begrijpen van informele, alledaagse taal zoals tweets of tekstberichten. Bij informele teksten daalde de overeenkomst van zelfs de beste modellen naar een niveau dat slechts "matig" was, wat betekent dat ze nog steeds onenigheid hadden met mensen en met elkaar over een groot aantal zinnen.
Misschien wel de meest opvallende bevinding was hoe weinig de modellen eigenlijk met elkaar overeenkwamen. Wanneer de onderzoeker naar de gehele groep van zes tools keek, gaven zij allemaal exact hetzelfde antwoord op slechts ongeveer 14 tot 24 procent van de zinnen. Over de resterende zinnen was er geen duidelijke meerderheid. Dit betekent dat voor een enorm deel van de tekst die mensen dagelijks analyseren, het eindresultaat volledig afhangt van welk computerprogramma je toevallig gebruikt. Als een financiële analist één model gebruikt om een rapport te lezen en een andere analist een ander model, kunnen zij tot tegenovergestelde conclusies komen over hetzelfde nieuws.
De studie concludeert dat hoewel deze nieuwe hulpmiddelen krachtig zijn, ze niet uitwisselbaar zijn. De keuze van een model is geen klein technisch detail; het is een beslissing die de data zelf verandert. Voor taken met betrekking tot formele financiële documenten zijn de topmodellen betrouwbaar en consistent. Maar voor informele tekst, of voor taken waarbij het verschil tussen positief en negatief subtiel is, is de onenigheid tussen modellen een teken van echte onzekerheid. In deze gevallen suggereert de onderzoeker dat het riskant is om op een enkele computer te vertrouwen. In plaats daarvan is de beste aanpak om meerdere modellen samen te gebruiken of om een mens de zinnen te laten beoordelen waarbij de computers het oneens zijn, om er zeker van te zijn dat de uiteindelijke beslissing niet slechts het product is van de gekozen software.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.