The production of meaning in the processing of natural language

Titel: De productie van betekenis in de verwerking van natuurlijke taal

Auteurs: Christopher J. Agostino, Quan Le Thien, Nayan D'Souza, Louis van der Elst.

1. Het Probleem

De huidige benadering van Large Language Models (LLM's) en menselijke taalverwerking rust vaak op klassieke, reductionistische aannames: dat betekenis vastligt in de onderdelen van een zin en dat deze op een deterministische manier kan worden samengesteld (compositionaliteit). Echter, systemen zoals LLM's kampen met fundamentele uitdagingen zoals hallucinaties en prompt-injectie.

De auteurs stellen dat deze problemen niet simpelweg te wijten zijn aan gebrekkige data of architectuur, maar voortkomen uit een dieperliggend misverstand over de aard van betekenis. Als betekenis niet vastligt voordat interpretatie plaatsvindt, maar juist ontstaat in het interactieproces tussen expressie en interpreter, dan zijn klassieke probabilistische modellen ontoereikend. Het artikel onderzoekt of taalverwerking contextueel is in de kwantummechanische zin van het woord: dat de uitkomst van een interpretatie afhangt van de meetcontext en niet kan worden voorspeld door vooraf bestaande, context-onafhankelijke waarden.

2. Methodologie

De studie past een protocol toe dat bekend staat als de semantische Bell-test, specifiek de CHSH-ongelijkheid, toegepast op taalmodellen.

• Experimenteel Opzet:

  • Er werden vier onafhankelijke LLM-instanties gebruikt die elk een ambigu woordpaar (bijv. "bank/bat") verwerkten binnen een specifieke contextuele "persoon" (meetinstelling A, A', B, of B').
  • De agents deelden geen informatie onderling; ze kregen alleen een korte persona-prompt (bijv. "Je bent een chirurg" vs. "Je bent een buschauffeur").
  • De uitkomsten werden gemapt naar vectoren (+1 of -1) om te bepalen of de interpretatie overeenkwam met een van de twee mogelijke betekenissen.

• Parameters en Schaal:

  • Er werd getest op 24 modellen die variëren in grootte over vier ordes van grootte (van 0.6B tot 40B+ parameters), inclusief dichte transformers en Sparse Mixture-of-Experts (MoE) architecturen.
  • Er werd een 3x3x3 grid van inferentieparameters doorlopen:
    • Temperatuur ($\tau$): 0.2, 1.0, 1.8
    • Nucleus threshold ($p$): 0.7, 0.9, 1.0
    • Top-k: 10, 50, 100
  • Dit resulteerde in ongeveer 26.000 trials.

• Berekening:

  • De CHSH-parameter $|S|$ werd berekend via een dichtheidsmatrix-formalisme.
  • Een waarde van $|S| \le 2$ duidt op klassieke correlaties (deterministische, vooraf bestaande betekenissen).
  • Een waarde van $|S| > 2$ duidt op kwantumcontextualiteit (betekenis is niet vastgelegd voorafgaand aan de interpretatie).

3. Belangrijkste Bijdragen

1. Empirisch Bewijs voor Kwantumcontextualiteit in LLM's: Het artikel levert robuust bewijs dat LLM's systematisch de klassieke grens van de Bell-ongelijkheid schenden, wat suggereert dat hun interpretatieproces fundamenteel niet-klassiek is.
2. Onafhankelijkheid van Bestaande Benchmarks: De auteurs introduceren de $|S|$-verdeling als een nieuwe, onafhankelijke maatstaf voor het interpretatiekarakter van een model, die niet correleert met traditionele benchmarks zoals MMLU, hallucinatiepercentages of nonsens-detectie.
3. Concept van "Gemaakte Contextualiteit": Het artikel introduceert een theoretisch kader waarin prompt-injectie en menselijke manipulatie (propaganda) worden gezien als het "fabrieksmatig produceren van context" (manufacturing contextuality) in plaats van het manipuleren van een vaststaande betekenis.

4. Resultaten

• Schending van de Klassieke Grens: Alle geteste modellen met voldoende data produceerden waarden van $|S| > 2$. In 35,8% van de geldige grid-punten werd de grens geschonden. De waarden liepen op tot 4.0 (de algebraïsche maximum), wat de Tsirelson-grens (2$\sqrt{2}$) overschrijdt. Dit is mogelijk omdat de test de "observer-zijde" contextualiteit meet, niet deeltjes-entanglement.
• Verdeling en Modus: Hoewel alle modellen een modus rond $S \approx 2.0$ hebben, verschillen ze sterk in de spreiding (IQR - interkwartielafstand) en de vorm van hun verdeling. Deze spreiding is de statistiek die modellen het beste van elkaar onderscheidt.
• Orthogonaliteit: De $|S|$-verdeling is volledig orthogonaal (geen correlatie) met externe benchmarks zoals MMLU, hallucinatiepercentages en nonsens-detectie. Een model met een hoge MMLU-score kan een heel ander interpretatiekarakter hebben dan een model met een lage score.
• Niet-commutativiteit: Het omkeren van de woordvolgorde leidde tot significante veranderingen in de interpretatiekansen, wat wijst op niet-commutativiteit (de volgorde van waarneming beïnvloedt de uitkomst), een kenmerk van kwantumsystemen.
• Invloed van Parameters: Er is geen enkele parameter (temperatuur, top-k, etc.) die consistent de contextualiteit in één richting stuurt. Het "topografie" van de $|S|$-waarde is uniek per model en afhankelijk van de specifieke configuratie.

5. Betekenis en Implicaties

• Voor AI-veiligheid: Als betekenis fundamenteel onbepaald is totdat deze wordt geïnterpreteerd, kunnen geen enkele vaste reeks beveiligingsfilters (guardrails) prompt-injectie volledig voorkomen. Een aanvaller hoeft slechts één context te vinden waarin de filter faalt, omdat de betekenis van de input pas vastligt na interpretatie binnen die context. Veiligheid vereist inzicht in de contextuele frames, niet alleen in de input.
• Voor Mens-AI Interactie: Het vermogen om te worden gemanipuleerd en het vermogen om te interpreteren zijn twee kanten van dezelfde medaille. Een systeem dat echt kan interpreteren (en dus contextueel is), is per definitie vatbaar voor herschikking van de context.
• Ontwerp van Systemen: Ontwikkelaars moeten stoppen met het proberen om contextualiteit te elimineren (wat het interpretatievermogen zou vernietigen) en in plaats daarvan werken met het karakter van de contextualiteit. Dit vereist het karakteriseren van de $|S|$-profielen van modellen om te begrijpen hoe ze samenwerken met mensen.
• Filosofische Implicatie: Het artikel verbindt linguïstiek met kwantumfysica en suggereert dat "betekenis" geen intrinsieke eigenschap is van woorden, maar een emergent fenomeen dat ontstaat in de ontmoeting tussen observer en geobserveerde, vergelijkbaar met de meetproblematiek in de kwantummechanica.

Conclusie: Het ontwerp van betrouwbare mens-agent systemen vereist een erkenning dat interpretatie een niet-klassiek, contextueel proces is. Dezelfde eigenschap die LLM's kwetsbaar maakt voor manipulatie, is ook wat hen in staat stelt om betekenis te creëren.