💬 NLP

StoicLLM: Preference Optimization for Philosophical Alignment in Small Language Models

Dit artikel toont aan dat, hoewel voorkeursoptimalisatie op micro-datasets van Stoïsche teksten kleine taalmodellen effectief kan afstemmen op naar binnen gerichte deugden, het faalt in het overwinnen van hun inherente representatielimieten met betrekking tot naar buiten gerichte kosmopolitische plichten.

Oorspronkelijke auteurs: Ishmam Khan, Sindhuja Thogarrati, Shuo Zhang

Gepubliceerd 2026-05-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ishmam Khan, Sindhuja Thogarrati, Shuo Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar jonge student hebt (een "klein" taalmodel) die de oude filosofie van het stoïcisme wil leren. Het stoïcisme draait om het vinden van vrede door je eigen geest te beheersen, deugdzaam te zijn en te accepteren wat je niet kunt veranderen.

Normaal gesproken heb je om een student dit goed bij te brengen een enorme bibliotheek en jaren van studie nodig. Maar dit artikel vraagt zich af: Kunnen we deze diepe filosofie aan een kleine student leren met slechts een klein, hoogwaardig notitieboekje van 300 notities?

Hier is wat de onderzoekers hebben gevonden, eenvoudig uitgelegd:

1. De "Kleine Notitieboekje"-Truc

De onderzoekers namen twee kleine AI-modellen (denk aan hen als slimme maar beperkte studenten) en probeerden hen te leren zich te gedragen als beroemde stoïsche filosofen (zoals Seneca of Marcus Aurelius). In plaats van hen het hele internet te voeden, gaven ze hen een "micro-dataset"—een gecureerde collectie van slechts 300 hoogwaardige voorbeelden van stoïsche wijsheid.

Ze gebruikten een speciale leermethode genaamd Preference Optimization. Denk hierbij aan een strenge coach die de student niet alleen het juiste antwoord laat zien, maar ook een fout antwoord en zegt: "Nee, doe dat niet. Doe dit in plaats daarvan."

Het Resultaat: Het werkte verrassend goed! Met slechts 300 voorbeelden leerde de kleine AI om precies te klinken als een stoïsche filosoof. Het kon praten over het beheersen van emoties en het vinden van innerlijke vrede bijna net zo goed als wanneer je elke keer dat je een vraag stelde 300 voorbeelden hardop voor haar had moeten voorlezen. Dit is geweldig omdat het "geheugenspace" (het contextvenster) bespaart voor andere dingen.

2. De "Basis-Talent" Maakt Uit

De onderzoekers probeerden twee verschillende leercouches (algoritmen genaamd ORPO en AlphaPO).

De Sterke Student (Qwen-3-4B): Dit model was al vrij slim over abstracte ideeën. In combinatie met de AlphaPO-coach leerde het het beste. Het was als een natuurlijk begaafde student die met een paar hints kon werken en daarop kon voortborduren.
De Strijdende Student (Llama-3-2-3B): Dit model was iets zwakker in zijn natuurlijke "pre-training". Het had de ORPO-coach nodig, die rigider en strenger was, om het op het juiste spoor te houden.

De Les: Je kunt niet zomaar een klein notitieboekje naar elke student gooien en verwachten dat ze filosoof worden. De natuurlijke hersenen van de student (het basismodel) moeten in staat zijn om de concepten in de eerste plaats te begrijpen.

3. Het "Blind Vlekje" (De Grote Verrassing)

Dit is de belangrijkste bevinding. De onderzoekers testten de AI op twee soorten stoïsche vragen:

Naar binnen gericht: "Hoe beheers ik mijn woede?" of "Hoe blijf ik kalm?"
Naar buiten gericht: "Hoe behandel ik mijn buren?" of "Wat is mijn plicht tegenover de samenleving?"

De AI had de naar binnen gerichte vragen bijna perfect. Het klonk wijs, kalm en filosofisch.
Maar het faalde volledig op de naar buiten gerichte vragen. Zelfs toen de onderzoekers de AI een "spiekbriefje" (few-shot prompting) met voorbeelden gaven, kon het het idee van Cosmopolitische Plicht (het stoïsche geloof dat we allemaal burgers van de wereld zijn en een plicht hebben tegenover de mensheid) niet begrijpen.

De Metafoor: Stel je een student voor die de regels kan opzeggen om een perfecte monnik in een grot te zijn (naar binnen gericht), maar geen idee heeft hoe je een goede buur of burger bent in een drukke stad (naar buiten gericht).

Het artikel concludeert dat dit geen fout is in de leermethode. Het is een beperking van de hersenen van de kleine AI. De kleine modellen hebben simpelweg niet genoeg voorbeelden van sociale plicht gezien in hun oorspronkelijke trainingsdata om het te begrijpen, ongeacht hoe vaak je ze probeert te leren met een klein notitieboekje.

Samenvatting

Goed nieuws: Je kunt een kleine AI leren om te klinken als een wijze filosoof met slechts 300 voorbeelden, wat geheugen en tijd bespaart.
Slecht nieuws: Kleine AI-modellen hebben een "blinde vlek". Ze kunnen leren kalm en zelfbeheerst te zijn, maar ze worstelen om te leren hoe ze goed naar anderen moeten zijn of hun plicht tegenover de samenleving te begrijpen.
Waarom? De kleine modellen hebben gewoon niet de "mentale spierkracht" (representatieve capaciteit) om die complexe sociale concepten vast te houden. Om dit op te lossen heb je waarschijnlijk grotere modellen nodig, niet alleen betere leertactieken.

Technische Samenvatting: StoicLLM

Probleemstelling

Hoewel Large Language Models (LLM's) sterke capaciteiten vertonen in feitelijke adaptatie, blijft hun vermogen om genuanceerde filosofische kaders te internaliseren onder zware data-beperkingen onderbelicht. Er bestaat specifiek een lacune in het begrijpen hoe "kleine" taalmodellen (SLM's) kunnen worden afgestemd op complexe, abstracte persona's—zoals een Stoïcijns filosoof—met uitsluitend micro-datasets. Bovendien is het onduidelijk of huidige voorkeursoptimalisatietechnieken inherente representatieve beperkingen in SLM's kunnen overwinnen met betrekking tot specifieke doctrinale dimensies, met name die welke betrekking hebben op naar buiten gerichte sociale plichten versus naar binnen gerichte deugden.

Methodologie

Model en Architectuur

De studie richt zich op twee capabele kleine LLM's: Llama-3.2-3B-Instruct en Qwen-3-4B-Instruct. Om parameter-efficiënte fine-tuning uit te voeren, maken de auteurs gebruik van Weight-Decomposed Low-Rank Adaptation (DoRA) in plaats van standaard LoRA. DoRA ontkoppelt gewichtsupdates in grootte- en richtingscomponenten, waardoor het model de trajecten van volledige fine-tuning nauwkeuriger kan nabootsen en het risico op contextverlies wordt verminderd.

Trainingsstrategie

De modellen werden gespecialiseerd met behulp van micro-datasets afgeleid van fundamentele Stoïcijse teksten (Seneca's Brieven en Epictetus's Werken). De datasetconstructie omvatte:

Bronmateriaal: Wetenschappelijke vertalingen van Seneca en Epictetus.
Datageneratie: Het gebruik van frontier LLM's (Claude 4.5 Sonnet) om instructie-tuningparen (<vraag, gekozen, afgewezen>) te genereren, waarbij "gekozen" antwoorden authentieke passages zijn en "afgewezen" antwoorden synthetische, niet-authentieke voltooiingen.
Datasetgroottes: Drie niveaus werden gecreëerd: V100, V200 en V300 (met respectievelijk 100, 200 en 300 voorbeelden).

Twee monolithische voorkeursoptimalisatie-algoritmen werden vergeleken:

ORPO (Odds-Ratio Preference Optimization): Past een contrastieve odds-ratio-boete toe op afgewezen generaties naast standaard negatieve log-waarschijnlijkheidsverlies.
AlphaPO: Breidt het kader uit door een instelbare beloningsvormingsparameter ( $\alpha$ ) in te voeren om de gevoeligheid van het impliciete beloningssignaal te schalen.

Het trainingsproces werd gestabiliseerd met een Warmup-Stable-Decay (WSD) leerkoerschema en de StableAdamW-optimizer om gradiëntexplosies tijdens DoRA-updates te voorkomen.

Evaluatiekader

De evaluatie vond plaats op een set van 100 open-ended, hedendaagse vragen die bedoeld waren om reflectief redeneren op te wekken. Om de kosten en latentie van menselijke evaluatie te vermijden, hanteerde de studie een multi-model "LLM-as-a-judge" raad bestaande uit drie frontier-modellen: Claude Sonnet 4.6, Gemini 3 Flash Preview en GPT-5.4.

Een gestructureerde rubriek, gegenereerd door Claude Opus 4.6 en gebaseerd op de Stanford Encyclopedia of Philosophy, evalueerde antwoorden op acht criteria:

Filosofische Inhoud (A1–A6): Inclusief Deugd als het Hoogste Goed, Onverschilligheid ten opzichte van Externen, Rationeel Zelfbestuur, Aanvaarding van het Lot, Meesterschap over Passies en Cosmopolitische Sociale Plicht.
Canonieke Stoïcijse Stem (B1–B2): Evaluatie van Lexicon en Stijlvergelijking met figuren zoals Seneca of Epictetus.

Rechters beoordeelden elk criterium op een schaal van 1–5, waarbij antwoorden drie keer per rechter werden geëvalueerd om robuustheid te waarborgen.

Belangrijkste Resultaten

Prestatie-efficiëntie

De studie toont aan dat 300 hoogwaardige voorbeelden voldoende zijn om sterke afstemming op Stoïjse deugden in kleine modellen teweeg te brengen.

Qwen-3-4B presteerde significant beter dan Llama-3.2-3B onder alle omstandigheden.
Voorkeursoptimalisatie versus Few-Shot: Gefine-tuned modellen (specifiek Qwen-3-4B met AlphaPO op 300 voorbeelden) behaalden scores van 30,92, wat dicht in de buurt komt van het few-shot prompting plafond van 32,24. Dit geeft aan dat micro-datasetadaptatie toon- en doctrinale markers in modelgewichten kan coderen, waardoor de contextvensteroverhead tijdens inferentie-effectief wordt vrijgemaakt.
Statistische Significantie: Wilcoxon getekende rangtesten bevestigden strikte, monotoon verbeteringen naarmate de datasetgrootte toenam ( $p < 0,001$ ).

Efficacy van de Optimizer en Modelafhankelijkheid

Er werd een "crossover-effect" waargenomen met betrekking tot de keuze van de optimizer:

AlphaPO schaalde effectief op het sterkere Qwen-3-basismodel en presteerde beter dan ORPO bij hogere datavolumes (30,92 versus 28,98).
ORPO presteerde consequent beter dan AlphaPO op het zwakkere Llama-3-basismodel, waarbij de prestatiekloof toenam naarmate de data toenam (25,13 versus 21,56).
De auteurs schrijven dit toe aan de afhankelijkheid van AlphaPO van robuuste basale representaties om subtiele gradiëntsignalen te benutten, terwijl ORPO's rigide contrastieve boete fungeert als een sterkere veiligheidsvoorziening voor zwakkere architecturen.

Het "Cosmopolitische Blinde Vlek"

Een cruciale bevinding is de aanhoudende mislukking van alle modellen, inclusief few-shot baselines, om af te stemmen op Criterium A6 (Cosmopolitische Sociale Plicht).

Hoewel aangepaste modellen hoog scoorden op naar binnen gerichte deugden (bijvoorbeeld Rationeel Zelfbestuur > 4,5 voor Qwen-3), scoorden ze onder 2,20 op Cosmopolitische Sociale Plicht.
Few-shot prompting bood geen betekenisvolle verbetering op deze dimensie (bijvoorbeeld Qwen-3 few-shot: 1,82 versus zero-shot: 1,78).
Dit suggereert een representatieve beperking in de pre-trainingmengsels van kleine modellen met betrekking tot cosmopolitisch ethisch redeneren, die alleen door micro-datasetadaptatie niet kan worden overwonnen.

Betekenis en Claims

Het paper claimt drie primaire bijdragen aan het veld van parameter-efficiënte adaptatie:

Levensvatbaarheid van Micro-datasets: Het vestigt dat kleine, hoogwaardige datasets (zoveel als 300 voorbeelden) complexe persona's effectief kunnen coderen in SLM-gewichten, prestaties behalen die vergelijkbaar zijn met few-shot prompting, en tegelijkertijd contextvensteroverhead elimineren.
Optimizer-Model Contingentie: Het onthult dat de efficacie van voorkeursoptimalisatoren niet universeel is, maar afhankelijk van de latente capaciteiten van het basismodel. Sterkere modellen profiteren van instelbare beloningsvorming (AlphaPO), terwijl zwakkere modellen de structurele veiligheidsvoorzieningen van contrastieve boetes nodig hebben (ORPO).
Representatieve Grenzen: Het identificeert een specifiek "blinde vlek" in kleine modellen met betrekking tot naar buiten gerichte sociale plichten. Het falen om cosmopolitische plichten te internaliseren over alle adaptatiemethoden (inclusief few-shot) geeft aan dat dit een fundamentele beperking is van de pre-trainingrepresentatie van het model en niet een falen van de adaptatietechniek.

De auteurs concluderen dat hoewel SLM's effectief kunnen worden aangepast aan abstracte, kwalitatieve domeinen, het aanpakken van de kloof in sociaal doctrinaal redeneren waarschijnlijk grotere modelcapaciteiten, gerichte pre-trainingdata of expliciete uitbreiding van ondervertegenwoordigde dimensies vereist, in plaats van simpelweg het schalen van micro-dataset fine-tuning.