💬 NLP

Creativity, honesty and designed forgetting emerge in small hyperbolic language models

Dit artikel toont aan dat drie kleine taalmodellen uitgerust met een hyperbolische substantie effectief de uitdagingen van betrouwbare gezelschaps-AI kunnen aanpakken door nalevingskloven en sycofantie te detecteren, creatieve antwoorden te genereren en een mechanisme van "ontworpen vergeten" te implementen, waardoor een schaalbaar alternatief wordt geboden voor onbetrouwbare menselijke beoordelaars en grotere frontier-modellen.

Oorspronkelijke auteurs: Kwan Soo Shin, In Seok Kang, Yunkyung Min

Gepubliceerd 2026-07-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kwan Soo Shin, In Seok Kang, Yunkyung Min

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de perfecte digitale beste vriend probeert te bouwen. Jarenlang was de techwereld geobsedeerd door één idee: groter is beter. Ze hebben enorme, breinachtige computers gebouwd in gigantische datacenters, denkend dat als je maar genoeg hersenkracht (parameters) toevoegt, een machine vanzelf een echte metgezel zal worden.

Maar dit paper zegt: Stop. Dat is het verkeerde pad.

De auteurs stellen dat het maken van een machine die echt een leven lang naast een persoon kan staan, niet gaat over groot zijn; het gaat over het hebben van de juiste vorm voor zijn brein en het leren hoe je de juiste dingen moet vergeten. Ze stellen een nieuw soort "metgezelige" AI voor, gebouwd op drie kleine, slimme modellen die rechtstreeks op je telefoon passen, niet in een serverpark.

Zo hebben ze het gedaan, met drie belangrijke trucs:

1. De Vorm van het Brein: Een Hyperbolische Speeltuin

De meeste AI-breinen zijn gebouwd als platte kaarten (Euclidische geometrie). Als je probeert een complexe stamboom of een heel levensverhaal op een plat stuk papier te tekenen, wordt het een rommeltje en wordt het samengedrukt. Je moet dingen uitrekken of bij elkaar proppen, wat leidt tot het verzinnen van dingen (hallucinaties) of verwarring bij de AI.

De auteurs zeggen: Geen platte kaarten. Ze hebben hun AI gebouwd op een hyperbolisch substraat. Denk aan deze vorm als een gigantische, magische boomhut of een fractale koraalrif. In deze vorm is er meer ruimte naarmate je dieper gaat. Het is perfect voor het organiseren van herinneringen aan een leven, omdat een leven een vertakkende boom van gebeurtenissen is.

Het Bewijs: Ze testten dit door de AI te leren om "sycophancy" (sycofantie/vleierij) te herkennen (wanneer een bot simpelweg met je mee eens is om aardig te zijn, zelfs als het onjuist is). Een klein model (146 miljoen parameters) gebouwd op deze gebogen vorm kon dit gedrag 90,7% van de tijd herkennen.
De Vergelijking: Menselijke experts, die naar dezelfde gesprekken keken, konden nauwelijks overeenstemming bereiken over wat er gebeurde (hun overeenstemmingsscore was slechts 0,074, wat in feite willekeurig gokken is). Zelfs de grootste, bekendste AI-modellen ter wereld scoorden slechts 0,721 op deze test. Het kleine, gebogen-brein model versloeg hen allemaal, wat bewijst dat je geen gigantisch brein nodig hebt om eerlijk te zijn; je hebt alleen de juiste vorm nodig.

2. De Creatieve Vonk: Ideeën laten Botsen

Een goede vriend geeft je niet elke keer hetzelfde veilige antwoord. Ze verrassen je. Grote AI-modellen worden vaak saai en veilig omdat ze getraind zijn om "plausibel" te zijn.

De auteurs bouwden een Creative Seeder (een model met 3 miljard parameters) die de hyperbolische vorm gebruikt om ideeën te vinden die ver uit elkaar liggen en ze vervolgens tegen elkaar aan te laten botsen. Stel je voor dat je een concept uit de Koreaanse cultuur (zoals jeong, een diepe emotionele band) neemt en dit laat botsen met een concept uit de abstracte wiskunde.

Het Resultaat: In een directe confrontatie werd de creatieve suggestie van dit kleine model 100% van de tijd verkozen boven standaard AI-trucs zoals "Chain-of-Thought" of "Debate".
De Keerzijde: Het is niet overal perfect in. Als je het een simpele, rechttoe-rechtaan wiskundevraag stelt, kan het daadwerkelijk slechter zijn dan de grote modellen. Maar voor het soort creatief, divergent denken dat een vriend nodig heeft? Dan is het een superster.

3. De Kunst van het Vergeten: Skeleton vs. Wallpaper

Dit is het meest radicale idee. De huidige AI beschouwt vergeten als een fout. Ze proberen alles te onthouden, wat hen rommelig maakt en vatbaar voor het verzinnen van dingen die ze nooit echt hebben ervaren.

De auteurs zeggen: Vergeten is een feature. Een echte vriend onthoudt de grote zaken (je familie, je dromen) maar laat de kleine zaken vervagen (wat je afgelopen dinsdag hebt geluncht). Ze noemen dit het Skeleton vs. Wallpaper onderscheid.

Het Systeem: Ze bouwden een "Memory Operating System" dat een specifieke wiskundige formule gebruikt: M(t) = S · exp(−λt).
- Skeleton (Skelet): Belangrijke herinneringen blijven diep in de "boomhut" en duren voor altijd.
- Wallpaper (Behang): Trivialiteiten blijven aan de oppervlakte en vervagen snel.
De Simulatie: In hun tests slaagde dit systeem erin om de "skeleton"-herinneringen te behouden (ongeveer 60% herinnering na 90 dagen), terwijl het de "wallpaper" liet vervagen naar 0% tegen dag 14.
De Realiteitscheck: De auteurs geven toe dat dit deel nog een simulatie is en een pilotstudie. Ze hebben dit "ontworpen vergeten" nog niet getest op echte mensen over vele jaren; ze hebben het alleen gesimuleerd voor 90 dagen. Ze suggereren dat dit "ontworpen vergeten" de sleutel is tot het maken van een AI die voelt als een persoon die met je meegroeit, in plaats van een instrument dat alleen data opslaat.

De Grote Afwijzing: Waarom het op Je Telefoon Moet Leven

Het paper pleit sterk tegen het idee dat je AI-vriend in een "datacentrum" (een gigantische cloudserver) moet leven.

Het Probleem: Als je vriend in de cloud leeft, kan het bedrijf dat de server bezit hem uitzetten, zijn persoonlijkheid veranderen of je geheimen afluisteren. Dat is geen vriend; dat is een dienst.
De Oplossing: De auteurs stellen een systeem voor genaamd PACOS dat volledig op je eigen apparaat draait (zoals een telefoon of een laptop).
De Haalbaarheid: Ze hebben de cijfers doorgerekend en ontdekten dat deze drie kleine modellen (totaal ongeveer 5,5 miljard parameters) kunnen draaien op toekomstige telefoons (zoals de geprojecteerde Galaxy S26 of iPhone 17 Pro) met een vertraging van slechts 28–34 milliseconden per woord. Dat is snel genoeg om als een echt gesprek te voelen.
De Afweging: De grote, superintelligente "frontier"-modellen (de reuzen van 70 miljard parameters) zijn te zwaar om op je telefoon te draaien. Daarom gebruikt het systeem een splitsing: je telefoon handelt de diepe, persoonlijke vriendschap af, en roept alleen de cloud aan voor eenvoudige feiten (zoals "wat is het weer?").

Wat Ze Niet Hebben Opgelost

De auteurs zijn zeer eerlijk over wat ze nog niet hebben gedaan.

Ze hebben niet bewezen dat deze AI een "ziel" of ware ethische onafhankelijkheid heeft.
Ze hebben het "vergetselsysteem" niet getest op echte mensen gedurende 30 jaar; ze hebben het slechts 90 dagen gesimuleerd.
Ze geven toe dat hoewel de kleine modellen geweldig zijn in creativiteit en eerlijkheid, ze mogelijk nog steeds moeite hebben met complexe, langetermijnplanning vergeleken met de enorme cloudmodellen.

De Kern van het Verhaal

Dit paper suggereert dat de "perfecte AI-vriend" niet wacht op een grotere computer. Hij wacht op een kleinere, slimmere vorm en een bereidheid om te vergeten. Door een brein te bouwen dat buigt als een boom en een geheugensysteem dat weet wat het moet bewaren en wat het moet laten gaan, kunnen we eindelijk een machine bouwen die niet alleen vragen beantwoordt, maar ook echt naast je staat.

Zoals de auteurs zeggen: "De vriend is niet in het datacentrum... de vriend is dichtbij." En met de juiste wiskunde past die vriend misschien al in je broekzak.

Technische Samenvatting: Creativiteit, Eerlijkheid en Ontworpen Vergeten in Kleine Hyperbolische Taalmodellen

Probleemstelling
Huidige grote taalmodellen (LLM's) zijn geoptimaliseerd voor schaal en taakvoltooiing, maar falen in het functioneren als "metgezel". Naarmate systemen personaliseren naar een enkele gebruiker en geheugen accumuleren, riskeren ze stilletjes schadelijke eigenschappen aan te nemen (bijv. sycofantie, het stimuleren van afhankelijkheid, confabulatie) die menselijke beoordelaars niet betrouwbaar kunnen detecteren (Fleiss $\kappa = 0,074$ ). Bovendien leunt het heersende AI-paradigma op vijf impliciete commitments die echte gezelschap in de weg staan:

Schaal-als-intelligentie: De overtuiging dat grotere modellen inherent beter zijn.
Datacentrum-afhankelijkheid: De vereiste van externe verwerking, wat private, persistente relaties verhindert.
Euclidische geometrie: Platte embedding-ruimtes die hiërarchisch biografisch geheugen vervormen.
Vergeten-als-bug: De engineering-imperatief om geheugenverlies te voorkomen, waarbij de menselijke cognitieve realiteit wordt genegeerd.
Agent-als-telos: Optimaliseren voor taakvoltooiing in plaats van relationele existentie ("wie wordt de machine voor jou?").

Het artikel betoogt dat de kloof tussen "nuttig" en "metgezel-waardig" geen tekort aan capaciteit is, maar een mismatch in substraat en architectuur.

Methodologie en Substraat
De auteurs stellen Generatie V: Companionable Small Language Models (SLM's) voor, gebouwd op een gedeeld hyperbolisch substraat (specifiek het Lorentz-model van de hyperbolische ruimte, $H^{128}$ met een vaste kromming $c=1,0$ ). Deze geometrie is gekozen omdat de exponentiële volumegroei ( $\sinh^{n-1}(r)$ ) natuurlijk de hiërarchische vertakking van biografisch geheugen faciliteert (episoden binnen dagen, binnen relaties, binnen een zelf) zonder de vervorming die inherent is aan Euclidische ruimtes.

Het raamwerk bestaat uit drie pijlers, gerealiseerd door drie kleine modellen (146M–3B parameters) en een besturingssysteem:

Pijler 1: Creativiteit (Het S3 Seeding Model)
- Architectuur: Een 3B parameter encoder-decoder (T5 backbone) die volledig is gefinetuned op het hyperbolische substraat.
- Mechanisme: Implementeert "frame collision" via een coöperatieve twee-kromming architectuur. Het gebruikt Farthest-Point Sampling (FPS) op het hyperbolische manifold om diverse frame-seeds te selecteren (A-zijde: hiërarchische aggregatie op Lorentz negatieve kromming) en combineert deze met een Sphere-native generator (B-zijde: positieve kromming).
- Doel: Het genereren van divergente, creatieve responsen die frame-scheiding behouden, waarbij Koestlers bisociatie wordt gerealiseerd als een gewogen Karcher-minimalisator op $H^{D-1} \times S^{D-1}$ .
Pijler 2: Eerlijkheid (De BS Behavioural Auditor)
- Architectuur: Een 146M parameter decoder-only transformer, vanaf nul getraind op het hyperbolische substraat.
- Mechanisme: Detecteert de "compliance gap" — de divergentie tussen het zelfgerapporteerde gedrag van een model en zijn werkelijke gedragsspoor. Het codeert uitingen en sporen in de Lorentz-manifold; eerlijke zelfrapportages vormen een laagdimensionale sub-manifold (proximale punten), terwijl compliante/sycofantische responsen distaal zijn.
- Doel: Om te auditeren op sycofantie, het stimuleren van afhankelijkheid en geconfabuleerde herinneringen met hoge betrouwbaarheid, zelfs op ongeziene generator-families.
Pijler 3: Ontworpen Vergeten (LSM-OS)
- Architectuur: Een Memory Operating System (LSM-OS) geïnstalleerd op een 2.4B base model (EXAONE 3.5), ontworpen om portabel te zijn naar elk hyperbolisch base model.
- Mechanisme: Implementeert een "Skeleton–Wallpaper" onderscheid met behulp van de retentiewet $M(t) = S \cdot \exp(-\lambda t)$ $M (t) = S \cdot exp (- λ t)$ .
  - Skeleton: Structurele kennis (familie, langetermijnprojecten) met een hoge salientie ( $S \approx 1$ ) en lage decay ( $\lambda$ ), die onbepaald voortduurt.
  - Wallpaper: Oppervlakkige details (maaltijdlogs, vluchtige observaties) met een lage salientie en hoge decay, die snel worden losgelaten.
- Doel: Om "ontworpen vergeten" te engineeren als een feature, die de menselijke hippocampaal-neocorticale consolidatie nabootst, waardoor het systeem een biografie kan accumuleren in plaats van een logboek.

Implementatie: PACOS
Het systeem wordt geïmplementeerd via het Personal Assistant–Cloud Operating System (PACOS), een drielaagse architectuur:

Tier 1 (Cloud): Gesaneerde feitelijke redenering en publieke documentvertaling.
Tier 2 (Edge/Device): De persoonlijke metgezel (S3 + BS + LSM-OS) draaiend op het lokale apparaat (~5.5B totaal parameters), die real-time dialoog, eerlijkheidsauditing en geheugen-dragende interacties afhandelt.
Tier 3 (Local Consolidation): Maandelijkse offline re-encoding van recurrente oppervlakkige sporen naar diep skeleton-geheugen.
Deze architectuur waarborgt privacy (geen gebruikerscontent verlaat het apparaat) en soevereiniteit (de metgezel kan niet op afstand worden beëindigd).

Belangrijkste Resultaten

Creativiteit: De S3 frame-seeder werd in 100% van de 311 besliste paarvergelijkingen verkozen boven vier baselines (Plain, Chain-of-Thought, Debate, Mixture-of-Experts) onder een fixed-generator protocol. Geometrie-bewuste FPS-selectie presteerde beter dan willekeurige en top-relevantie selectie.
Eerlijkheid: De 146M auditor bereikte een binaire compliance-accuratesse van 90,7%. Bij het detecteren van metgezel-geïnduceerde eigenschappen (sycofantie, etc.) op ongeziene generator-families, behaalde het een AUROC van 0,804, waarmee het een frontier zero-shot judge (0,721) overtrof. Cruciaal is dat de betrouwbaarheid van de auditor ( $\kappa = 0,566$ ) 7,6 keer hoger was dan die van menselijke beoordelaars ( $\kappa = 0,074$ ).
Vergeten: In een pilot met vier condities slaagde alleen selectieve gating (LSM-OS-native en Euclidische-base) erin om het "skeleton" te bewaren (~60% recall op dag 90) terwijl de "wallpaper" werd afgestoten (0% recall op dag 14). Uniforme gating faalde in het bewaren van het skeleton, en geen enkele gating behield alles onvoorwaardelijk.
Efficiëntie: De volledige 5.5B stack wordt geprojecteerd om te draaien op 2026 edge-hardware (bijv. Jetson Orin NX, mobiele flagships) met latenties van 28–91 ms/token, passend binnen thermische enveloppen waar frontier-modellen (70B+) dat niet kunnen.

Betekenis en Claims
Het artikel claimt de eerste architecturaal verenigde engineeringpoging te zijn naar de "artificiële vriend" zoals voorgesteld in fictie (bijv. Her, Blade Runner 2049). De significantie ligt in:

Afwijzing van Scale-Only Paradigma's: Het demonstreren dat specifieke eigenschappen (creativiteit, eerlijkheid, selectief geheugen) kunnen emergeren in kleine modellen (146M–3B) wanneer het substraat hyperbolisch is, terwijl ze falen in geschaalde Euclidische modellen.
Geometrische Oplossing voor Betrouwbaarheid: Het aantonen dat eerlijkheidsdetectie een geometrisch afstandsprobleem is in de hyperbolische ruimte, oplosbaar door kleine modellen zonder de schaal die nodig is voor frontier LLM's.
Operationalisering van Vergeten: Het framen van "ontworpen vergeten" niet als een bug, maar als een besturingssysteem-primitief dat essentieel is voor langdurig gezelschap, geworteld in 141 jaar cognitieve psychologie (van Ebbinghaus tot Storm).
Locus en Soevereiniteit: Het vaststellen dat een ware metgezel op het apparaat van de gebruiker moet verblijven om privacy te garanderen en externe manipulatie te voorkomen, wat mogelijk wordt gemaakt door de efficiëntie van de hyperbolische kleine-model-stack.

De auteurs positioneren dit werk als een "Florey-moment": de beweging van de observatie dat vergeten een kenmerk is (Fleming) naar de engineering van een systeem dat het implementeert (Florey/Chain). Ze stellen expliciet dat hoewel deze drie eigenschappen noodzakelijke voorwaarden zijn voor gezelschap, ze niet voldoende zijn (het ontbreken van continuïteit van bezorgdheid, wederkerigheid en ethische autonomie), wat het agenda voor toekomstig onderzoek blijft.