The Holistic Storage of Verb+Up Phrases in Text-based and Audio-based Language Models

Technische Samenvatting: De Holistische Opslag van Verb+Up-frasen in Tekstgebaseerde en Audiogebaseerde Taalmodellen

Probleemstelling
Een centraal debat in de taalkunde betreft de afweging tussen computatie (het toepassen van abstracte regels om nieuwe representaties te genereren) en opslag (het ophalen van holistische representaties uit het geheugen). Hoewel menselijke taalverwerking duidelijk beide benut, blijven de factoren die bepalen wanneer een vorm wordt opgeslagen versus gecomputeerd, slecht begrepen. Gebruikgebaseerde theorieën suggereren dat hoogfrequente en hoog voorspelbare meerwoordige eenheden holistisch worden opgeslagen, een fenomeen dat wordt aangetoond in de menselijke psycholinguïstiek (bijv. tragere detectie van partikels in hoogfrequente phrasal verbs). Het is echter onduidelijk of Large Language Models (LLMs) en Automatic Speech Recognition (ASR) modellen analoge holistische representaties ontwikkelen. Specifiek: vertrouwen deze modellen op memorisatie voor frequente frases, en komt dit opslagmechanisme voort over verschillende modaliteiten (tekst vs. audio) en modelmaten?

Methodologie
De studie onderzoekt interne representaties in drie tekstgebaseerde modellen en één audiogebaseerd model om de holistische opslag van Verb+up (V+up) frases te testen.

1. Onderzochte Modellen:
   • Tekstgebaseerde LLM's: Drie autoregressieve modellen getraind op de BabyLM v3 corpus (150M tokens, vergelijkbaar met menselijke blootstelling) met 125M, 350M en 1,3B parameters, plus een groter 7B parameter model (OLMo-3 7B) getraind op Dolma v1.7.
   • Audiogebaseerd Model: Whisper-small, een encoder-decoder ASR-model getraind op gesproken audio.
2. Experimenteel Ontwerp:
   • Classifier-benadering: Logistische regressie-classifiers werden getraind om de embedding van het token up te onderscheiden wanneer het verschijnt als een zelfstandig voorzetsel van andere tokens in dezelfde zin.
   • Testen: Deze classifiers werden toegepast op V+up frases (bijv. pick up) die variëren in frequentie (ruwe corpuscount) en voorspelbaarheid (log-odds van up volgend op een specifieke werkwoord).
   • Metriek: De logit-score van de classifier geeft de gelijkenis aan met de representatie van het zelfstandige up. Een lagere logit-score impliceert dat de representatie van up binnen de frase is afgeweken van de zelfstandige vorm, wat duidt op holistische opslag.
   • Experimenten:
     • Experiment 1: Testte up als voorzetsel alleen.
     • Experiment 2: Testte up als subword-unit (inclusief instanties ingebed in woorden zoals update) om uit te sluiten dat semantische bleaching de enige oorzaak van divergentie is.
     • Experiment 3: Paste dezelfde methodologie toe op Whisper-small met behulp van gesproken audiofragmenten, waarbij representaties uit zowel de encoder als de decoder werden geëxtraheerd.
   • Analyse: Bayesiaanse mixed-effects regressie en Generalized Additive Models (GAMs) werden gebruikt om logit-scores te analyseren over frequentie, voorspelbaarheid en verborgen lagen.

Belangrijkste Bijdragen

• Open-Source Modellen: De auteurs hebben drie autoregressieve modellen getraind en vrijgegeven op de BabyLM v3 corpus, gecheckpoint elke 20M tokens, om onderzoek naar menselijke schaal van taalverwerving te faciliteren.
• Cross-Modale Bewijsvoering: De studie stelt vast dat holistische phrasale opslag emergeert in zowel tekstgebaseerde LLM's als ASR-modellen, wat aantoont dat frequentie- en voorspelbaarheidsgestuurde representaties ontstaan over verschillende modaliteiten heen.
• Schaal en Capaciteit: Het onderzoek ontrafelt de effecten van modelgrootte, waarbij wordt getoond dat terwijl frequentie-effecten robuust zijn over alle maten, de gevoeligheid voor voorspelbaarheid sterker wordt met schaal, wat suggereert dat het vastleggen van co-occurrence statistieken buiten de ruwe frequentie om een grotere representationele capaciteit vereist.

Resultaten

• Holistische Opslag: Alle modellen vertoonden bewijs van holistische opslag. Hoogfrequente en hoog voorspelbare V+up frases resulteerden in significant lagere classifier logit-scores, wat aangeeft dat de representatie van up in deze contexten divergeert van de zelfstandige token.
• Frequentie vs. Voorspelbaarheid:
  • Frequentie: Sterke, consistente negatieve effecten werden waargenomen in alle modellen en maten.
  • Voorspelbaarheid: Effecten waren zwakker in kleinere modellen (BabyLMs) maar werden progressief sterker en negatiever in grotere modellen (OLMo-3 7B). Dit suggereert dat gevoeligheid voor voorspelbaarheid meer modelcapaciteit vereist.
• Laagdynamiek: In grotere modellen verscheen de divergentie in representaties (holistische opslag) in eerdere verborgen lagen. In kleinere modellen emergeerde dit effect pas in latere lagen.
• Audio Modality: Whisper-small vertoonde vergelijkbare patronen in zowel de encoder als de decoder. Hoogfrequente en hoog voorspelbare frases vertoonden lagere logit-scores, wat de tekstgebaseerde resultaten weerspiegelt. Het gedrag van de encoder suggereert dat het akoestische variabiliteit abstraheert om representaties te vormen die vergelijkbaar zijn met die van tekstgebaseerde modellen.
• Subword Robuustheid: Experiment 2 bevestigde dat deze effecten aanhouden zelfs wanneer up als een subword-unit wordt behandeld, wat de verklaring dat semantische bleaching de enige oorzaak is van de divergentie weerlegt.

Betekenis en Claims
Het artikel betoogt dat deze bevindingen de gebruikgebaseerde theorieën van taal ondersteunen, die stellen dat holistische opslag een gradueel fenomeen is gedreven door frequentie en voorspelbaarheid, in plaats van een binaire distinctie tussen opgeslagen items en gecomputeerde regels.

• Menselijke Schaal van Leren: De emergentie van holistische opslag in modellen getraind op hoeveelheden data die vergelijkbaar zijn met menselijke blootstelling (BabyLMs), suggereert dat dergelijke opslag een natuurlijk gevolg is van leren uit distributionele patronen, en niet het resultaat is van massale schaal-memorizatie.
• Continuüm van Representatie: De resultaten per laag suggereren dat holistische opslag beter begrepen kan worden als een spectrum. Representaties kunnen compositioneel blijven in lagere lagen en steeds holistischer worden in hogere lagen, waarbij grotere modellen deze divergentie eerder vertonen.
• Transformer Nut: De studie positioneert transformer-architecturen als productieve kaders voor het onderzoeken van de mechanica van mensachtige opslagpatronen, waarbij een niveau van mechanisch detail (interne representaties) wordt geboden dat alleen door gedragsgegevens niet bereikt kan worden.

De auteurs blijven bescheiden over beperkingen en merken op dat de studie beperkt is tot Engels en de V+up constructie, en dat toekomstig werk nodig is om de emergentie van opslag te onderzoeken als een functie van trainingsdynamiek in plaats van enkel eind-checkpoints.