Language Re-generation: An investigation into information locality effects on reconstruction

Technische Samenvatting: Taalgeregeneratie

Probleemstelling
Dit artikel onderzoekt de relatie tussen informatielocaliteit—de neiging van syntactisch en semantisch verwante woorden om dicht bij elkaar te verschijnen—en het vermogen van Large Language Models (LLMs) om natuurlijke taal te reconstrueren uit structureel gedegradeerde inputs. Hoewel eerder onderzoek heeft vastgesteld dat LLMs inductieve biases vertonen naar natuurlijke taalstructuren en moeite hebben met het leren van "onmogelijke talen" (talen die cognitieve beperkingen zoals localiteit schenden), blijft het onduidelijk of LLMs actief natuurlijke taal kunnen herstellen uit dergelijke onmogelijke inputs. Specifiek vragen de auteurs zich af: (1) Wat onthullen patronen van succesvolle en mislukte reconstructie over de inductieve biases van LLMs naar informatielocaliteit? en (2) Schaalt de moeilijkheid van het herstel met de ernst van de schendingen van de localiteit?

Methodologie
De auteurs kaderen het probleem als een translatieopdracht: het vertalen van "onmogelijke" (geperturbueerde) tekst terug naar "mogelijke" (natuurlijke) Engelse taal.

• Datageneratie: Gebruikmakend van subsets van de BabyLM-corpus (bnc_spoken en Gutenberg), pasten de auteurs drie perturbatiefuncties toe om "onmogelijke" taaldatasets te creëren. Deze perturbaties variëren in hun verstoring van de informatielocaliteit:
  1. LOCALSHUFFLE: Husselt willekeurig tokens binnen een kleine lokale window (grootte 3), wat de sequentiële volgorde verstoort maar de gebonden afstanden behoudt.
  2. PARTIALREVERSE: Selecteert een willekeurig punt in de zin, markeert dit met een 'R'-token, en keert alle daaropvolgende tokens om. Dit behoudt het initiële segment terwijl de rest wordt verstoord.
  3. FULLSHUFFLE: Husselt willekeurig tokens globaal over de gehele zin, waardoor de afhankelijkheidsstructuur en localiteit volledig worden vernietigd.
• Modelarchitectuur & Training: De studie maakt gebruik van GPT-2 modellen die vanaf nul zijn voorgetraind op deze onmogelijke talen (gebaseerd op Kallini et al., 2024). Dit zorgt ervoor dat de modellen geen eerdere blootstelling aan natuurlijk Engels hebben gehad, waardoor ze niet kunnen vertrouwen op vooraf bestaande kennis om de taak op te lossen. De modellen worden vervolgens gefinetuned om de oorspronkelijke Engelse tekst te reconstrueren vanuit de geperturbueerde inputs.
• Trainingsstrategie: De modellen worden getraind met een causal language modeling paradigma met een gemaskeerde labelstrategie. De input prompt ("Fix this text: [perturbed]") wordt gemaskeerd (loss = -100), terwijl de doeloutput ("Corrected: [original]") wordt gebruikt voor de berekening van de loss. Dit dwingt het model om de reconstructie-mapping te leren in plaats van de instructie te memoriseren.
• Evaluatiemetrieken:
  • Oppervlaktemetrieken: Exact Match (EM) en BLEU-score om de lexicale en oppervlakkige reconstructie te meten.
  • Structurele metrieken: Average Dependency Length (ADL) en Dependency Triple F1 om het herstel van syntactische relaties te meten.
  • Perplexiteit: Om te beoordelen hoe nauw de gegenereerde tekst aansluit bij natuurlijke taalverdelingen.

Belangrijkste Resultaten
De experimenten, uitgevoerd over verschillende zinslengtes (kort versus lang) en trainingsomvang, leidden tot drie primaire bevindingen:

1. Moeilijkheid van Herstel Schaalt met Schending van Localiteit: De prestaties zijn systematisch geordend op basis van de ernst van de perturbatie. PARTIALREVERSE is het gemakkelijkst te herstellen, gevolgd door LOCALSHUFFLE, met FULLSHUFFLE als het moeilijkst. Dit bevestigt dat de mate van verstoring van de localiteit direct correleert met de reconstructie-moeilijkheid.
2. Dissociatie van Oppervlakkig en Structureel Herstel: Structureel herstel (gemeten via Dependency Triple F1) dissocieert van oppervlakkig herstel (Exact Match). Bijvoorbeeld, onder LOCALSHUFFLE herstellen modellen substantiële syntactische structuren (hoge Triple F1), zelfs wanneer de exacte woordvolgorde niet perfect is hersteld (lagere EM). Omgekeerd kunnen modellen onder globale husseling vloeiende tekst genereren die faalt in het reconstrueren van de oorspronkelijke betekenis.
3. Architecturale Bias naar Kortere Afhankelijkheden: Een cruciale bevinding is dat de herstelde structuren consistent kortere afhankelijkheidslengtes vertonen dan de oorspronkelijke natuurlijke tekst. Zelfs wanneer modellen de tekst succesvol reconstrueren, vertonen ze een bias naar het plaatsen van gerelateerde woorden dichter bij elkaar dan in de bron, wat het Dependency Length Minimization (DLM) principe weerspiegelt dat bij menselijke taal wordt waargenomen, maar dit verder doorvoert.
4. Interacties met Zinslengte: Het effect van zinslengte is niet uniform. Voor perturbaties die enige lokale structuur behouden (PARTIALREVERSE, LOCALSHUFFLE), vergemakkelijken langere zinnen het herstel door rijkere contextuele aanwijzingen te bieden. Echter, voor FULLSHUFFLE leiden langere zinnen tot een volledige instorting van de prestaties, aangezien de zoekruimte voor herordening exponentieel groeit zonder enige behouden structurele ankers.

Betekenis en Claims
Het artikel beweert een kwantitatieve signatuur van een architecturale bias te leveren die leerbaarheidsexperimenten alleen niet onthullen. Door aan te tonen dat LLMs natuurlijke taal kunnen herstellen uit onmogelijke inputs, maar systematisch doorschieten naar zelfs nog kortere afhankelijkheidslengtes, suggereren de auteurs dat LLMs gevoelig zijn voor informatie-localiteitsbeperkingen, maar er niet volledig door begrensd worden.

De studie overbrugt de kloof tussen "leerbaarheid" (of een model een taal kan verwerven) en "reconstructie" (of een model een gecorrumpeerde taal kan repareren). Het stelt dat informatie-localiteit de gedeelde beperking is die zowel acquisitie als herstel beheerst. De bevindingen wijzen erop dat hoewel LLMs inductieve biases bezitten die in lijn liggen met de menselijke linguïstische haalbaarheid (specifiek de voorkeur voor lokale afhankelijkheden), deze biases van architecturale aard zijn en kunnen leiden tot systematische afwijkingen van natuurlijke taalstatistieken wanneer ze onder druk staan om sterk gedisruptieerde inputs te reconstrueren.

De auteurs concluderen dat informatie-localiteit de primaire drijfveer is van de grens tussen mogelijke en onmogelijke talen voor LLMs, en dat het vermogen om structuur uit ruis te herstellen een directe functie is van hoe ernstig die localiteit wordt geschonden.