Technische Samenvatting: Een Wiskundige Theorie voor het Balanceren van Relationele Generalisatie en Memorizatie

Probleemstelling

Leersystemen, waaronder mensen, dieren en machinelearningmodellen, moeten gelijktijdig algemene regels leren om relationele generalisatie mogelijk te maken en specifieke uitzonderingen op die regels memoriseren. Hoewel er uitgebreide literatuur bestaat over compositievere generalisatie en memorizatie in isolatie, ontbreekt het aan taakparadigma's en theoretische kaders om te begrijpen hoe systemen deze tegenstrijdige eisen balanceren wanneer beide vereist zijn. Specifiek blijft onduidelijk hoe leersystemen omgaan met geordende relaties die grotendeels transitief zijn, maar intransitieve uitzonderingen bevatten (bijvoorbeeld $A > B > C$, maar een uitzondering $C > A$). Bestaande paradigma's zoals Transitieve Inferentie (TI) testen pure generalisatie, terwijl Transversale Patroonvorming (TP) pure memorizatie van intransitieve lussen test, maar geen van beide de complexiteit van realistische scenario's vastlegt waar regels en uitzonderingen naast elkaar bestaan.

Methodologie

De auteurs introduceren een nieuw taakparadigma en een theoretisch kader om deze balans te analyseren:

1. Taakparadigma: Transitieve Inferentie met Uitzonderingen (TIwE)

   • De taak omvat een set items $I_1, \dots, I_n$ met een onderliggende transitieve rangschikking.
   • Er wordt een "uitzondering" geïntroduceerd: een intransitief paar $I_p > I_q$ waarbij $p > q$ (in strijd met de globale orde) en $|p-q| > 1$.
   • Dit creëert twee transitieve secties ($O^{(1)}$ en $O^{(2)}$) gescheiden door een intransitieve sectie ($L$).
   • Evaluatie richt zich op vier metrieken: memorizatie van transitieve paren, memorizatie van intransitieve paren, generalisatie binnen secties en generalisatie over secties heen (bijvoorbeeld het afleiden van $I_1 > I_n$ ondanks de uitzondering in het midden).

2. Theoretisch Model: Kernel Ridge Regression

   • De auteurs analyseren een model met willekeurige kenmerken $\phi(x) = \sigma(Wx)$ in de limiet van oneindige breedte, wat convergeert naar Kernel Ridge Regression.
   • Ze gaan uit van een uitwisselbare representatie, waarbij de kernel $K(x, x')$ alleen afhankelijk is van de overlap tussen items (identieke, overlappende of verschillende paren), geformaliseerd door parameters $\kappa_s, \kappa_o, \kappa_d$.
   • Het model wordt gekenmerkt door twee sleutelparameters:
     • Conjunctiviteitsfactor ($\alpha$): Meet de mate van niet-lineaire verstrengeling tussen items in de representatie ($\alpha=0$ is volledig compositief/additief; $\alpha=1$ is volledig conjunctief).
     • Effectieve regularisatie ($\tilde{c}$): Schaal de sterkte van de $L_2$-regularisatie.

3. Analytische Afleiding

   • De auteurs lossen analytisch het duale probleem van ridge-regressie op om de voorspellingen van het model af te leiden.
   • Ze ontleden de oplossing in een emergent rangschikkingssysteem ($r_j$) en een conjunctieve respons ($t_{j,k}$) die alleen activeert op trainingsdata.
   • Het rangschikkingssysteem blijkt een perturbatie te zijn van het standaard TI-rangschikkingssysteem, gemodificeerd door de aanwezigheid van de uitzondering.

Belangrijkste Bijdragen en Resultaten

1. Theoretische Karakterisering van de Balans

Het artikel leidt een gesloten-vorm oplossing af (Stelling 1) die aantoont dat kernelmodellen generalisatie en memorizatie op natuurlijke wijze balanceren via een afweging tussen het rangschikkingssysteem en de conjunctieve uitlezing:

• Generalisatie: Het model leert een rangschikkingssysteem $r_j$ dat monotoon afneemt binnen transitieve secties. De aanwezigheid van een uitzondering introduceert echter niet-monotonie in het rangschikkingssysteem rond de intransitieve lus.
• Memorizatie: Het model gebruikt een conjunctieve term $t_{j,k}$ om fouten op de trainingsset te corrigeren, specifiek door de uitzondering te memoriseren.
• De Afweging: Succesvolle generalisatie (specifiek generalisatie over secties heen) en succesvolle memorizatie staan in spanning.
  • Representatiegeometrie ($\alpha$): Meer compositieve representaties (lage $\alpha$) bevorderen generalisatie maar worstelen met het memoriseren van uitzonderingen. Meer conjunctieve representaties (hoge $\alpha$) kunnen uitzonderingen gemakkelijk memoriseren, maar kunnen falen in generalisatie over secties heen vanwege de niet-monotonie van het rangschikkingssysteem.
  • Regularisatie ($\tilde{c}$): Sterkere regularisatie (kleinere $\tilde{c}$) dwingt het model om meer te vertrouwen op het rangschikkingssysteem om de normen van de gewichten te minimaliseren, wat leidt tot systematische fouten in generalisatie (het verkeerd voorspellen van $I_{q-1} < I_{p+1}$) en verminderde memorizatie van de uitzondering. Omgekeerd staat zwakkere regularisatie betere memorizatie toe, maar riskeert overfitting.

2. Mechanistische Uitleg van Foutmodi

De auteurs verklaren dat de niet-monotonie van het emergente rangschikkingssysteem de oorzaak is van systematische fouten.

• Om de norm van de gewichten te minimaliseren (regularisatie), moet het model compromiet sluiten tussen een "vlak" rangschikkingssysteem (goed voor generalisatie) en een "gecorrigeerd" rangschikkingssysteem (nodig om aan de uitzondering te voldoen).
• Dit compromis resulteert in een rangschikkingssysteem dat vervormd is in de buurt van de uitzondering, waardoor fouten worden doorgegeven aan taken voor generalisatie over secties heen.
• Cruciaal merkt het artikel op dat L2-regularisatie, doorgaans gunstig voor generalisatie binnen de verdeling, contraproductief kan zijn voor generalisatie buiten de verdeling in deze specifieke taak, wat systematische fouten induceert waar normaal gesproken geen zouden optreden in standaard TI.

3. Empirische Validatie in Voorgeprogrammeerde Taalmodellen (PLM's)

De theoretische inzichten werden gevalideerd door PLM's (Llama3.2, Qwen3.5) te finetunen op TIwE-taken met behulp van hiërarchieën van sportteams en rangschikkingen van pokerhanden.

• Generalisatie: Modellen generaliseerden succesvol binnen secties, maar vertoonden inconsistente prestaties bij generalisatie over secties heen, waarbij ze vaak systematische fouten maakten die door de theorie werden voorspeld (nauwkeurigheid daalde onder het toevalsniveau).
• Memorizatie: Modellen konden de uitzondering memoriseren, maar de prestaties waren gevoelig voor regularisatie. Sterkere regularisatie verlaagde de nauwkeurigheid op de paren met uitzonderingen.
• Taakparameters: Het vergroten van de lengte van transitieve secties maakte generalisatie over secties heen aanzienlijk moeilijker, terwijl het vergroten van de lengte van de intransitieve lus een zwakker effect had, in overeenstemming met theoretische voorspellingen.
• Finetuningstrategieën: Volledige finetuning en lineaire probing presteerden over het algemeen beter dan LoRA, en het gedrag van lineaire probing kwam nauw overeen met de voorspellingen van het kernelmodel met betrekking tot de effecten van regularisatie.

Betekenis en Aanspraken

Het artikel claimt het eerste analytische kader te bieden voor het begrijpen hoe leersystemen relationele generalisatie balanceren met het memoriseren van uitzonderingen. De betekenis ligt in:

1. Identificatie van een Nieuw Foutmodel: Het toont aan dat taken die een balans vereisen tussen regels en uitzonderingen fundamenteel uitdagender zijn dan pure regel-leertaken, omdat ze een afweging introduceren tussen representatiegeometrie en regularisatie die kan leiden tot systematische, niet-willekeurige fouten.
2. Herwaardering van Regularisatie: Het benadrukt dat standaard regularisatietechnieken (zoals L2) generalisatie buiten de verdeling kunnen belemmeren in compositieve taken met uitzonderingen, in tegenstelling tot hun gebruikelijke rol.
3. Benchmarking: Het stelt "Transitieve Inferentie met Uitzonderingen" voor als een noodzakelijk nieuw paradigma om de grenzen van compositieve generalisatie te toetsen in zowel biologische als kunstmatige systemen.
4. Theoretische Grondslag: Door aan te tonen dat eenvoudige kernelmodellen het genuanceerde gedrag van grote taalmodellen op deze taken kunnen vangen, suggereert het dat de beperkingen van PLM's bij het hanteren van uitzonderingen kunnen voortkomen uit fundamentele geometrische beperkingen in hun leerdynamiek, en niet alleen uit architecturale complexiteit.

De auteurs concluderen dat het expliciet modelleren van het effect van uitzonderingen cruciaal is voor het ontwikkelen van leersystemen die robuust redeneren in de realiteit, en dat toekomstig werk zich moet richten op taakparadigma's die deze complexiteit vastleggen.