Standardizing the Measurement of Text Diversity: A Tool and a Comparative Analysis of Scores

Probleemstelling

De kwaliteit en bruikbaarheid van teksten gegenereerd door Large Language Models (LLM's) worden vaak beoordeeld op basis van nauwkeurigheid, feitelijke juistheid of coherentie. Een cruciale, maar vaak onderbelichte dimensie is tekstdiversiteit, oftewel de mate waarin "boilerplate"-inhoud of herhaling voorkomt in de output.

• Gebrek aan standaardisatie: Er bestaat momenteel geen gestandaardiseerde methode om tekstdiversiteit te meten. Bestaande datasets en rapportages variëren sterk in gebruikte metrics.
• Visualisatieproblemen: Hoewel gestructureerde antwoorden en "canned responses" (voorgeprogrammeerde antwoorden) opvallend zijn in kleine steekproeven, is het moeilijk om herhaling te visualiseren over grote corpora.
• Verwarring met tekstlengte: Tekstlengte fungeert als een belangrijke verstorende variabele (confounder). Langere teksten hebben van nature andere diversiteitskarakteristieken dan kortere, wat vergelijkingen tussen modellen of datasets vertekent zonder correctie.
• Menselijke beoordeling: Het is moeilijk om menselijke oordelen over diversiteit betrouwbaar te verzamelen, omdat mensen diversiteit vaak onbewust verwarren met algemene tekstkwaliteit.

Methodologie

De auteurs introduceren een gestructureerde aanpak die bestaat uit drie hoofdbestanddelen: een open-source softwarepakket, een interactief webplatform en een empirische evaluatie van bestaande metrics.

1. Het diversity Python-pakket en Web UI
De auteurs hebben een open-source bibliotheek (diversity) ontwikkeld die diverse metrics implementeert voor lexicale, syntactische en semantische diversiteit.

• Functionaliteit: Het pakket gebruikt bibliotheken zoals NLTK en SpaCy voor part-of-speech (PoS) tagging en n-gram extractie.
• Interactieve Visualisatie: Een webinterface (gehost op ai-templates.app) stelt gebruikers in staat om:
  • PoS-patronen (n-grams) interactief te visualiseren.
  • Exacte tekstherhalingen te zoeken.
  • Diversiteitsmetrics direct te berekenen.
• Efficiëntie: Om de berekeningstijd voor grote datasets beheersbaar te houden, worden technieken zoals memoization en batch-zoeken toegepast.

2. Geëvalueerde Metrics
Het paper analyseert een reeks bestaande en nieuwe metrics:

• Self-BLEU & Homogenisatie Scores: Meten de gelijkenis tussen paren van gegenereerde teksten (gebaseerd op BLEU, ROUGE-L of BERTScore).
• Self-Repetition Score: Meet de neiging van modellen om lange n-grams (n ≥ 4) te herhalen over verschillende outputs.
• Token/Type Ratio Variaties: Inclusief Moving Average Token-Type Ratio (MATTR) en N-Gram Diversity Score (NGD).
• Compressie Ratio's (CR): Een nieuwe focus in dit werk. De auteurs gebruiken gzip om de samengevoegde tekst te comprimeren. De ratio tussen de gecomprimeerde en originele grootte dient als maat voor redundantie. Ook wordt een CR berekend op basis van PoS-tags om syntactische patronen te vangen.

3. Experimenteel Ontwerp

• Datasets: CNN/DailyMail en XSUM (nieuws samenvattingen).
• Modellen: Zes instruction-tuned modellen (o.a. Llama-2, GPT-4, FlanT5, Mistral, StableLM, StableBeluga).
• Controle voor Lengte: De auteurs analyseren de data zowel in de oorspronkelijke vorm als na truncatie naar de lengte van de kortste tekst om de invloed van tekstlengte te isoleren.

Belangrijkste Resultaten

1. Correlatie en Redundantie van Metrics
De analyse toont aan dat veel metrics sterk met elkaar correleren, wat suggereert dat ze overlappende informatie meten.

• Compressie Ratio (CR): CR correleert sterk met de meeste n-gram gebaseerde scores. Het is een snelle en efficiënte proxy voor diversiteit.
• Onafhankelijke Metrics: Een combinatie van Compressie Ratio, Self-Repetition (voor lange n-grams) en Self-BLEU is voldoende om diversiteit te rapporteren. Deze drie hebben een lage onderlinge correlatie en vullen elkaar dus goed aan.
• Beperkingen van BERTScore: Homogenisatie scores gebaseerd op BERTScore (Hom. BERT) vertonen weinig variatie en vangen weinig verschillen tussen menselijke en machine-gegenereerde teksten in samenvattingstaken.

2. Invloed van Tekstlengte

• Tekstlengte is een kritieke confounder. Scores van de token/type-ratio familie zijn sterk gecorreleerd met lengte.
• Zonder correctie voor lengte zijn conclusies onbetrouwbaar. Bijvoorbeeld, StableLM produceerde de langste samenvattingen en scoorde hierdoor als het minst divers; na lengtecorrectie veranderde de rangschikking.
• Truncatie (afkappen) is een praktische maar imperfecte oplossing voor vergelijkingen, omdat het herhaling aan het einde van langere teksten verbergt.

3. Mens vs. Machine

• Menselijke teksten (journalistieke artikelen) vertonen over het algemeen meer diversiteit dan LLM-outputs, hoewel dit sterk afhankelijk is van de gebruikte metric.
• CR:POS (Compressie Ratio op PoS-tags) en Self-Repetition bleken de beste metrics om verschillen tussen menselijke en machine-gegenereerde tekst te detecteren.
• Op instructie-datasets (zoals Open Assistant vs. Unnatural Instructions) varieert de diversiteit enorm, waarbij "Unnatural Instructions" extreem lage diversiteit vertoonde.

Bijdragen

1. Software Tooling: Introductie van diversity, een open-source Python-pakket en een bijbehorende webinterface voor het meten en visualiseren van tekstdiversiteit.
2. Empirische Validatie: Een uitgebreide evaluatie van convergente validiteit van bestaande diversiteitsmetrics, waarbij wordt aangetoond welke metrics redundant zijn en welke complementair werken.
3. Aanbevelingen voor Rapportage: Het paper stelt een gestandaardiseerde set metrics voor die efficiënt en informatief is:
   • Compressie Ratio (CR): Voor snelle, algemene redundantie.
   • CR:POS: Voor het vangen van syntactische herhaling.
   • Self-Repetition: Voor lange n-gram herhaling.
   • Self-BLEU: Als aanvullende maat voor paar-gewijze gelijkenis.
   • Verplichte Context: Rapportage van tekstlengte is essentieel bij het presenteren van deze scores.

Significantie

Dit werk is significant omdat het een standaard introduceert voor het meten van tekstdiversiteit, een gebied dat tot nu toe gefragmenteerd was. Door een open-source tool en een duidelijke methodologische richtlijn te bieden, kunnen onderzoekers en ontwikkelaars:

• Betrouwbaarder prestaties van LLM's vergelijken.
• "Boilerplate"-gedrag in modellen detecteren en mitigeren.
• De kwaliteit van synthetische datasets (zoals die voor instruction tuning) beter evalueren.
• De impact van tekstlengte op diversiteitsmetingen beter begrijpen en controleren.

De auteurs benadrukken dat zonder standaardisatie en rekening houden met tekstlengte, conclusies over de diversiteit van AI-generaties vaak misleidend kunnen zijn.