Technische Samenvatting: Dynamiek onthult structuur: De uitdaging van de aanname van lineaire propagatie

1. Probleemformulering

Moderne machine learning-systemen, met name Large Language Models (LLM's), passen zich aan nieuwe informatie voornamelijk aan via updates van parameters van de eerste orde (optimalisatie op basis van gradiënten). Hoewel deze modellen tijdens inferentie indrukwekkende vermogens tot logisch redeneren vertonen, is het onduidelijk of de lokale geometrie van deze updates logische coherentie inherent behoudt. Specifiek: wanneer een model een geloof over een feit herzien, worden zijn logisch gerelateerde overtuigingen (bijvoorbeeld ontkenningen, converse of compositieve gevolgtrekkingen) dan rationeel bijgewerkt om consistentie te handhaven?

Huidige technieken vertrouwen vaak op de Aanname van Lineaire Propagatie (ALP), die stelt dat lokale, eerste-orde updates coherent kunnen propageren naar logische gevolgtrekkingen. Deze aanname vormt de basis voor veel strategieën voor kennisbewerking, continu leren en vergeten, die netwerklagen behandelen als lineaire associatieve geheugens. Empirische mislukkingen – zoals de "reversal curse" (het falen om te generaliseren naar omgekeerde relaties) en het onvermogen om bewerkingen door te geven aan ontkenningen of multi-hop redeneertaken – suggereren echter dat de ALP fundamenteel gebrekkig kan zijn.

De centrale vraag die wordt behandeld is: Welke structurele beperkingen worden opgelegd aan de representatie van een model als we eisen dat lokale lineaire updates de logische structuur van relationele kennis respecteren?

2. Methodologie

De auteurs formaliseren het probleem door relationele algebra te verbinden met de geometrische analyse van updates van neurale netwerken.

• Formalisme: Relationele kennis wordt gemodelleerd met behulp van relationele algebra, met de nadruk op drie kernoperaties:
  • Ontkenning ($\neg$): Keert waarheidswaarden om.
  • Converse ($\cdot^\smile$): Wisselt de volgorde van argumenten om (bijvoorbeeld $r(h, t) \to r^\smile(t, h)$).
  • Compositie ($\cdot; \cdot$): Koppelt relaties aan elkaar (bijvoorbeeld $r; s$).
• Geometrisch hulpmiddel: De auteurs hanteren het perspectief van de Neural Tangent Kernel (NTK), waarbij het model in het lokale regime wordt behandeld als een lineaire functie van parameters. Queries worden geassocieerd met gelineariseerde kenmerken gedefinieerd als de gradiënten van de scorefunctie: $\phi_q = \nabla_\theta s_\theta(q)$.
• Systematische Lineaire Propagatie (SLP): De auteurs definiëren een strikte voorwaarde waarbij logische koppeling een intrinsieke geometrische eigenschap van de representatie moet zijn, die geldt voor alle update-richtingen $\Delta\theta$ in de kenmerkruimte. Dit vereist:
  1. Logische Equivariantie: Kenmerkvectoren voor logisch gerelateerde queries moeten voorspelbaar transformeren (bijvoorbeeld $\phi_{\neg q} = -\phi_q$ voor ontkenning).
  2. Lineaire Onafhankelijkheid: Logisch niet-gerelateerde families moeten lineair onafhankelijk zijn om selectieve updates mogelijk te maken.
• Symmetrie-analyse: Gebaseerd op Tarski's invariantie-criterium behandelen de auteurs entiteit-hernamingen als symmetrieën van de query-ruimte. Ze analyseren hoe deze symmetrieën de lineaire groeprepresentaties op de kenmerkruimte beperken.

3. Belangrijkste bijdragen en resultaten

A. Ontkenning en Converse vereisen tensorfactorisatie

Het artikel bewijst dat het voldoen aan SLP voor ontkenning en converse strikte geometrische beperkingen oplegt aan de kenmerkruimte:

• Stelling 1 (Context-Relatie Factorisatie): Om systematische propagatie van ontkenning te ondersteunen, moet de kenmerkruimte worden ontbonden in een tensorproductstructuur die de context van entiteitenparen scheidt van de relatie-inhoud. Specifiek: $\phi(h, r, t) \approx \sum u(h, t) \otimes v(r)$. Ontkenning werkt lokaal als een tekenomkering op het relatie-component $v(r)$.
• Stelling 2 (Symmetrisch-Antisymmetrische Uitlijning): Om systematische propagatie van de converse-operatie te ondersteunen, moet het component van het entiteitenpaar verder worden ontbonden in symmetrische en antisymmetrische delen. Dit zorgt ervoor dat het verwisselen van entiteiten (en de relatie) resulteert in een consistente kenmerkrepresentatie via mechanismen voor tekenannulering.
• Empirische Validatie: De auteurs tonen aan dat huidige LLM's (Qwen3, Olmo) deze geometrische vereisten schenden. Empirisch zijn de gradiënten van feiten en hun ontkenningen sterk positief uitgelijnd (cosinussimilariteit $\approx 0,85$), terwijl SLP vereist dat ze negatief uitgelijnd zijn (cosinussimilariteit $-1$). Deze misuitlijning blijft bestaan over modelgroottes en architecturen heen.

B. De instorting van lineaire conjunctie

Het meest significante theoretische resultaat betreft relationele compositie (multi-hop redeneren):

• Stelling 3 (Structurele Instorting): De auteurs tonen aan dat als een kenmerkafbeelding systematische propagatie ondersteunt voor zowel ontkenning als conjunctie (een minimale vorm van compositie) onder lineaire updates, de kenmerkafbeelding instort tot nul.
• Mechanisme van Falen:
  1. Systematische conjunctie op lineaire kenmerken vereist een bilineaire operator (vanwege stabiliteitsvereisten van de kernel).
  2. Equivariantie van ontkenning vereist dat het kenmerk van een ontkende query het negatieve is van het origineel ($\phi_{\neg p} = -\phi_p$).
  3. Bilineariteit impliceert $\tilde{F}(-\phi_p, -\phi_p) = \tilde{F}(\phi_p, \phi_p)$.
  4. Logische idempotentie vereist echter $\tilde{F}(\phi_{\neg p}, \phi_{\neg p}) = \phi_{\neg p} = -\phi_p$, terwijl $\tilde{F}(\phi_p, \phi_p) = \phi_p$.
  5. Dit creëert een contradictie ($-\phi_p = \phi_p$), wat $\phi_p = 0$ forceert.
• Implicatie: De geometrische vereisten voor ontkenning en conjunctie zijn onder eerste-orde lineaire updates wederzijds incompatibel. Dit suggereert dat mislukkingen in multi-hop redeneren en kennisbewerking niet louter optimalisatie-artefacten zijn, maar voortkomen uit een fundamentele geometrische mismatch.

4. Betekenis en claims

Het artikel betoogt dat dynamiek structuur onthult: het analyseren van hoe representaties transformeren onder updates blootlegt structurele noodzaak die statische functiebenadering niet kan.

• Herformulering van Systematiciteit: Het werk draagt bij aan het debat over systematiciteit (Fodor & Pylyshyn, 1988) door bindingscompatibele blokstructuren af te leiden niet als een architecturale keuze, maar als een geometrische noodzaak voor logische coherentie onder de ALP.
• Grenzen van lokale bewerking: De resultaten suggereren dat kennisbewerkingsmethoden die vertrouwen op lineaire updates in één stap fundamentele grenzen ondervinden. Ze kunnen niet garanderen dat bewerkingen worden doorgegeven aan logische gevolgtrekkingen (ontkenningen, converses of composities) zonder contradicties te veroorzaken of specifieke, niet-generieke update-richtingen te vereisen.
• Pad vooruit: De auteurs stellen een richting voor naar logisch geometrisch deep learning, waarbij het gedrag tijdens updates wordt beperkt door logische symmetrieën (equivariantie) in plaats van alleen statische functiebenadering. Dit impliceert dat toekomstige architecturen of doelstellingen de in de stellingen geïdentificeerde tensor-gefactoriseerde en symmetrie-uitgelijnde structuren expliciet moeten afdwingen om systematische propagatie te bereiken.

Kortom, het artikel biedt een rigoureuze theoretische bewijsvoering dat de Aanname van Lineaire Propagatie structureel ontoereikend is voor het ondersteunen van systematische logische operaties in neurale netwerken, en biedt een geometrische verklaring voor aanhoudende mislukkingen in redeneren en bewerken door LLM's.