Taming CATS: Controllable Automatic Text Simplification through Instruction Fine-Tuning with Control Tokens

Probleemstelling

Automatische Tekstvereenvoudiging (ATS) heeft als doel de leesbaarheid van teksten te vergroten zonder de betekenis te verliezen. Een recente ontwikkeling is Controleerbare ATS (CATS), waarbij systemen outputs moeten genereren die voldoen aan specifieke, door de gebruiker opgegeven complexiteitsniveaus (bijv. een bepaalde leesbaarheidsgraad of compressiepercentage).

De auteurs identificeren drie fundamentele problemen in de huidige CATS-aanpak:

1. Data-tekort en variatie: Bestaande datasets bevatten vaak te weinig variatie in de te controleren attributen (vooral compressie). Veel datasets bestaan uit zinsparen waar de lengte van de complexe en vereenvoudigde versie nauwelijks verschilt, waardoor modellen geen leerbaar signaal hebben om te comprimeren.
2. Evaluatie-moeilijkheden: Traditionele evaluatiemetrics (zoals BLEU, SARI) meten vaak alleen gelijkenis of grammaticale correctheid, maar zijn blind voor de mate waarin het model de doelwaarde (bijv. "FKGL 5.0") heeft gehaald. Ze belonen soms zelfs het kopiëren van de brontekst.
3. Data-splits en distributie: Het gebruik van native dataset-splits of naïeve willekeurige splitsingen kan leiden tot een distributieverschil tussen trainings- en testdata, wat de evaluatie van controleerbaarheid verstoort.

Methodologie

De auteurs introduceren een framework voor Instruction Fine-Tuning (IFT) met discrete controletokens om open-source decoder-only Large Language Models (LLMs) te sturen naar specifieke leesbaarheids- en compressiedoelen.

1. Controle-attributes:
Het systeem werkt met vijf numerieke attributen:

• Leesbaarheid: Flesch-Kincaid Grade Level (FKGL), Automated Readability Index (ARI), Dale-Chall.
• Compressie: Ratio van het aantal karakters en het aantal woorden (doel: <1 voor verkorting).

2. Data-voorbereiding:

• Datasets: Vier domeinspecifieke datasets worden gebruikt: Med-EASi (medisch), SimPA (overheid), WikiLarge (encyclopedisch) en Newsela (nieuws).
• Preprocessing: De data wordt gestandaardiseerd naar een JSONL-formaat. Er wordt gebruikgemaakt van stratified sampling (gebaseerd op Kolmogorov-Smirnov-tests) om te garanderen dat train-, validatie- en testsets statistisch representatief zijn voor de volledige dataset.
• Filtering: Er wordt een "monotone" filter toegepast waarbij alleen instances worden behouden waarbij de leesbaarheid daadwerkelijk verbetert (waarde daalt) of de lengte afneemt.

3. Fine-tuning Pipeline:

• Prompting: De instructie bevat de brontekst en een controletoken in de vorm <METRIC=WAARDE>. Bijvoorbeeld: <FKGL=4.0>.
• Training: Het model wordt getraind om een vereenvoudigde tekst te genereren die direct voorafgegaan wordt door het controletoken met de doelwaarde. Dit leert het model de conditionele relatie tussen de token en de linguïstische kenmerken van de output.
• Modellen: Er wordt getest op drie model-families (Llama, Mistral, Qwen) met groottes variërend van 1B tot 14B parameters. Voor modellen groter dan 4B wordt LoRA (Low-Rank Adaptation) gebruikt.

4. Evaluatie:
Naast standaard metrics (SARI, LENS, BLEU, BERTScore) introduceren de auteurs Mean Absolute Error (MAE) tussen de doelwaarde (in de prompt) en de werkelijke waarde van de gegenereerde tekst. Dit is cruciaal om de daadwerkelijke controleerbaarheid te meten.

Belangrijkste Resultaten

1. Data-kwaliteit is bepalender dan modelgrootte:

• De prestaties hangen sterker af van de dataset en het controle-attribuut dan van de modelgrootte.
• Leesbaarheid: Modellen leren consistent om specifieke leesbaarheidsniveaus (FKGL, ARI, Dale-Chall) te bereiken, mits de trainingsdata voldoende variatie in deze waarden bevat.
• Compressie: Controle over compressie (lengtevermindering) presteert slecht. De analyse toont aan dat bestaande datasets (vooral zinsgealigneerde zoals WikiLarge en SimPA) nauwelijks variatie in lengte tonen tussen complexe en simpele zinnen. Zonder dit leerbaar signaal kunnen modellen niet effectief comprimeren.

2. Modelgrootte en prestaties:

• Niet-monotoon: Grotere modellen (bijv. 13B/14B) presteren niet altijd beter dan kleinere modellen (1B/3B). Soms presteren kleinere modellen (zoals Qwen3-1.7B) beter of gelijk aan grotere tegenhangers.
• Model-families: Qwen-modellen tonen over het algemeen de meest stabiele prestaties over verschillende datasets en metrics. Mistral en Llama tonen meer pieken afhankelijk van het specifieke dataset.

3. Het belang van data-splits:

• Experimenten tonen aan dat het gebruik van native dataset-splits of willekeurige splitsingen leidt tot significante distributieverschillen (gemeten via KS-statistiek, JSD, EMD) tussen trainings- en testdata.
• Stratified sampling (gebaseerd op leesbaarheidsniveaus zoals FKGL) is essentieel om betrouwbare resultaten te garanderen.

4. Evaluatie-metrics:

• Traditionele metrics zoals SARI en LENS correleren niet altijd sterk met de controleerbaarheid (MAE). Een model kan een hoge SARI-score halen door de brontekst te kopiëren, terwijl het de doelwaarde mist.
• Error-based metrics (MAE) zijn onmisbaar om te meten of het model de instructie daadwerkelijk heeft opgevolgd.

Bijdragen en Betekenis

Technische Bijdragen:

• Een robuust framework voor Controleerbare ATS dat gebruikmaakt van instructie-finetuning met discrete tokens, wat een lichte en flexibele methode biedt om open-source LLMs te sturen.
• Een kritische analyse van de data-variabiliteit, die aantoont dat de beperkingen in huidige ATS-datasets (vooral gebrek aan compressie-variatie) de prestaties fundamenteel beperken, ongeacht het model.
• Het bewijs dat stratified sampling noodzakelijk is om distributieverschillen in evaluatie-experimenten te voorkomen.

Significantie voor het Veld:

• Verschuiving van Architectuur naar Data: Het paper benadrukt dat voor CATS de kwaliteit en variatie van de trainingsdata belangrijker zijn dan het kiezen van het grootste model. Zonder data met voldoende variatie in het te controleren attribuut, kan geen enkel model het leren.
• Nieuwe Evaluatiestandaard: Het pleit voor het gebruik van error-based metrics (zoals MAE op de doelwaarde) naast traditionele kwaliteitsmetrics. Zonder deze metrics is het onmogelijk om te bepalen of een systeem echt "controleerbaar" is.
• Praktische Implicatie: Voor ontwikkelaars van toegankelijkheidssystemen betekent dit dat ze eerst moeten investeren in het creëren van datasets met diverse compressie- en leesbaarheidsniveaus, voordat ze verwachten dat modellen deze taken kunnen uitvoeren.

Beperkingen:

• Het werk is beperkt tot het Engelse taalgebied.
• De evaluatie is grotendeels automatisch; menselijke evaluatie zou nodig zijn om te bevestigen dat een lage MAE ook daadwerkelijk leidt tot betere perceptie van leesbaarheid en betekenisbehoud.
• Er is een trade-off tussen het filteren van data (voor monotonie) en het behoud van trainingsdiversiteit; te streng filteren kan de prestaties juist verslechteren.

Kortom, het paper "Taming CATS" toont aan dat het succesvol maken van controleerbare tekstvereenvoudiging minder een kwestie is van het kiezen van het juiste model, maar vooral van het zorgvuldig ontwerpen van de data, de splitsing en de evaluatiemethoden.