Technische Samenvatting: Evaluatiekader voor Tekstanalyse: Een Casestudie over LLM's en Sociale Media

Probleemstelling

Hoewel Large Language Models (LLM's) uitzonderlijke bekwaamheid hebben aangetoond in standaard Natural Language Processing (NLP)-taken, blijft er een aanzienlijke kloof bestaan in hun toepassing op praktische data-analysescenario's die ongestructureerde tekst betreffen. Specifiek hebben huidige LLM's moeite wanneer ze worden gevraagd lange reeksen ongestructureerde documenten, zoals berichten op sociale media, te verwerken om rigoureuze kwantitatieve analyses uit te voeren. Bestaande benchmarks richten zich voornamelijk op gestructureerde data (bijvoorbeeld CSV-bestanden, SQL-query's) of het ophalen van informatie uit één enkel document, en slagen er niet in om de uitdagingen van het aggregeren van informatie over verzamelingen van korte, ruisende en onafhankelijke instanties aan te pakken. Bovendien heeft eerdere research de kwetsbaarheden van LLM's met betrekking tot hallucinaties en ontoereikend numeriek en logisch redeneren benadrukt, maar de mate waarin deze beperkingen een uitgebreide data-analyse over grote tekstcorpora belemmeren, blijft een open vraag.

Methodologie

Om de capaciteiten van LLM's op dit gebied empirisch te beoordelen, introduceren de auteurs een vraaggebaseerd evaluatiekader en een specifieke benchmark die is opgebouwd uit data van sociale media.

Opbouw van de Benchmark

Het dataset is gebaseerd op twee gevestigde NLP-benchmarks voor sociale media: TweetEval en SuperTweetEval. Het bestaat uit 470 handmatig samengestelde vragen met door mensen geverifieerde grondwaarheden, afgeleid van acht datasets die uiteenlopende taken bestrijken:

• Single-Label Classificatie (SLC): Sentimentanalyse, detectie van haatzaaiende taal, detectie van beledigende taal.
• Multi-Label Classificatie (MLC): Emotierecognitie, topicclassificatie.
• Gerichte Classificatie (TC): Stance-detectie, gerichte sentimentanalyse.

De vragen zijn gecategoriseerd in vier soorten logisch redeneren die toenemende complexiteit weerspiegelen:

1. Existentie: Het detecteren van de aanwezigheid/afwezigheid van specifieke labels (Binair Ja/Nee).
2. Aantal: Het kwantificeren van instanties binnen de context (Numeriek).
3. Vergelijking: Het uitvoeren van binaire vergelijkingen tussen labelgroepen (Binair Ja/Nee).
4. Berekening: Het afleiden van secundaire metrieken zoals percentages (Numeriek/Proportioneel).

Om robuustheid over datavolumes te evalueren, hebben de auteurs subsets gegenereerd op zeven schalen: 10, 50, 100, 250, 500, 750 en 1.000 instanties. Cruciaal is dat labels en metadata van de invoer zijn verwijderd om een puur ongestructureerde tekstanalyse-omgeving te simuleren.

Experimentele Opstelling

De studie evalueerde een diverse reeks modellen:

• Closed-source: GPT-5.4-Mini, Gemini-3.1-Flash-Lite, Grok-4.1-Fast.
• Open-weights: Verschillende maten van LLaMA (3B tot 70B) en Qwen (4B tot 397B MoE).

Modellen werden getest met behulp van een gestandaardiseerde promptingstrategie die strikte outputformaten afdwong (Ja/Nee, Integer of Percentage) zonder uitleg. De prestaties werden gemeten met Macro-F1 voor binaire taken, Range-Normalized Root Mean Squared Error (RNRMSE) voor percentages, en Normalized Root-Mean-Square Error (NRMSE) voor numerieke tellingen.

Belangrijkste Resultaten

1. Prestatieafhankelijkheid van Taakcomplexiteit

• Existentie versus Redeneren: Modellen presteren goed op eenvoudige existentiële vragen (het identificeren of een label bestaat), met F1-scores die vaak hoger zijn dan 0,88 op SLC-data. De prestaties dalen echter aanzienlijk naarmate taken vergelijking en numeriek redeneren vereisen.
• Numerieke Tekortkomingen: Closed-source modellen presteren over het algemeen beter dan open-weights modellen, met name bij schatting van percentages en numerieke regressie. Opvallend is dat de volledige LLaMA-serie moeite had met percentage-taken, waarbij ze vaak onder de willekeurige baselines presteerden.
• Datacomplexiteit: De prestaties verslechteren naarmate de datacomplexiteit toeneemt. Gerichte classificatietaken (die contextbewuste binding aan specifieke entiteiten vereisen) leveren de laagste prestaties op bij alle modellen, gevolgd door Multi-Label-taken, waarbij Single-Label-taken het meest beheersbaar zijn.

2. De "500-Instantie" Drempel

Een cruciale bevinding is de identificatie van een drempel voor prestatiedegradatie bij ongeveer 500 invoerinstanties.

• Open-weights Modellen: Vertonen een ernstige prestatie-inzinking bij alle taken wanneer de invoergrootte 500 instanties overschrijdt.
• Closed-source Modellen: Hoewel ze robuuster zijn in semantisch begrip, vertonen ze ook een duidelijke toename in numerieke fouten (RNRMSE/NRMSE) boven deze drempel, wat wijst op een gedeelde architecturale bottleneck bij het aggregeren van kwantitatieve data over grote verzamelingen.

3. Promptingstrategieën

De studie vergeleek "No Instruction", "Standard" en "One-Shot" prompting.

• Open-weights modellen profiteerden aanzienlijk van complexere prompts (Standard en One-Shot).
• Closed-source modellen vertoonden wisselende resultaten; bij numerieke taken leidde One-Shot prompting soms tot prestatiedalingen in vergelijking met de Standard-prompt.
• De Standard-prompt bleek de meest gebalanceerde en robuuste strategie in het algemeen.

Belangrijkste Bijdragen

1. Een Gespecialiseerde Benchmark: De introductie van een dataset van 470 vragen die specifiek is ontworpen om LLM's te evalueren op aggregering van ongestructureerde tekst, verdergaand dan benchmarks voor gestructureerde data-analyse.
2. Empirisch Bewijs van Beperkingen: Systematische demonstratie dat de betrouwbaarheid van LLM's in data-analyse sterk afhankelijk is van invoerschaal en taakcomplexiteit, met een specifieke focus op het falen van numeriek redeneren in lange-contextscenario's.
3. Identificatie van Architecturale Bottlenecks: Het artikel benadrukt dat huidige LLM's, ongeacht of ze open- of closed-source zijn, aanzienlijke uitdagingen ondervinden bij het behouden van precisie bij het verwerken van grote volumes onafhankelijke tekstinstanties voor kwantitatieve taken.

Betekenis en Aanspraken

De auteurs stellen dat hun bevindingen kritieke beperkingen in de huidige LLM-architecturen voor het uitvoeren van rigoureuze kwantitatieve analyse over grote tekstcollecties benadrukken. Hoewel LLM's bekwaam zijn in semantische identificatie, neemt hun vermogen tot nauwkeurig tellen, vergelijken en berekenen af naarmate de schaal van de data en de complexiteit van het vereiste redeneren toenemen.

Het artikel concludeert dat toekomstig werk prioriteit moet geven aan de ontwikkeling van gespecialiseerde architecturen die zijn toegesneden op synthese van lange context en methoden om hoogprecisie redeneren te waarborgen. De auteurs merken bescheiden op dat hun evaluatie een "ondergrens voor prestaties" vertegenwoordigt, aangezien het agentische workflows met externe tools (zoals code-interpretatoren) uitsluit, wat suggereert dat huidige native LLM-capaciteiten op zichzelf ontoereikend zijn voor betrouwbare grootschalige analyse van ongestructureerde data.