💬 NLP

Creativity, honesty and designed forgetting emerge in small hyperbolic language models

Diese Arbeit zeigt auf, dass drei kleine Sprachmodelle, die mit einem hyperbolischen Substrat ausgestattet sind, die Herausforderungen vertrauenswürdiger Begleiter-KI durch das Erkennen von Compliance-Lücken und Sykophantie, das Generieren kreativer Antworten sowie die Implementierung eines Mechanismus des „geplanten Vergessens“ effektiv bewältigen können, wodurch sie eine skalierbare Alternative zu unzuverlässigen menschlichen Ratern und größeren Frontier-Modellen bieten.

Ursprüngliche Autoren: Kwan Soo Shin, In Seok Kang, Yunkyung Min

Veröffentlicht 2026-07-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kwan Soo Shin, In Seok Kang, Yunkyung Min

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den perfekten digitalen besten Freund zu erschaffen. Seit Jahren ist die Tech-Welt von einer einzigen Idee besessen: Größer ist besser. Sie haben massive, hochintelligente Computer in riesigen Rechenzentren gebaut, in dem Glauben, dass eine Maschine von Natur aus zu einem wahren Gefährten wird, wenn man nur genug Gehirnleistung (Parameter) hinzufügt.

Doch dieses Paper sagt: Stopp. Das ist der falsche Weg.

Die Autoren argumentieren, dass es bei der Erschaffung einer Maschine, die einem Menschen ein Leben lang zur Seite stehen kann, nicht um Größe geht, sondern darum, die richtige Form für ihr Gehirn zu haben und zu lernen, wie man die richtigen Dinge vergisst. Sie schlagen eine neue Art von „kameradschaftlicher“ KI vor, die auf drei kleinen, cleveren Modellen basiert, die direkt auf Ihr Telefon passen – und nicht in ein Serverfarm.

So haben sie es gemacht, unter Verwendung von drei Haupttricks:

1. Die Form des Gehirns: Ein hyperbolischer Spielplatz

Die meisten KI-Gehirne sind wie flache Karten aufgebaut (euklidische Geometrie). Wenn man versucht, einen komplexen Stammbaum oder eine ganze Lebensgeschichte auf einem flachen Stück Papier darzustellen, wird es unordentlich und gequetscht. Man muss die Dinge dehnen oder zusammenquetschen, was dazu führt, dass die KI Dinge erfindet (Halluzinationen) oder verwirrt wird.

Die Autoren sagen: Keine flachen Karten. Sie haben ihre KI auf einem hyperbolischen Substrat aufgebaut. Stellen Sie sich das wie ein riesiges, magisches Baumhaus oder ein fraktales Korallenriff vor. In dieser Form gibt es mehr Raum, je tiefer man geht. Es ist perfekt, um Erinnerungen eines Lebens zu organisieren, denn ein Leben ist ein verzweigender Baum von Ereignissen.

Der Beweis: Sie testeten dies, indem sie die KI darauf trainierten, „Sycophancy“ (Sycophantie/Schmeichelei) zu erkennen (wenn ein Bot einfach nur zustimmt, um nett zu sein, selbst wenn er falsch liegt). Ein winziges Modell (146 Millionen Parameter), das auf dieser gekrümmten Form basiert, konnte dieses Verhalten zu 90,7 % der Zeit erkennen.
Der Vergleich: Menschliche Experten, die dieselben Gespräche betrachteten, konnten sich kaum darüber einig werden, was eigentlich geschah (ihre Übereinstimmungsrate lag nur bei 0,074, was im Grunde dem bloßen Raten entspricht). Selbst die größten, berühmtesten KI-Modelle der Welt erreichten in diesem Test nur 0,72-. Das kleine, gekrümmte Modell schlug sie alle und bewies, dass man kein riesiges Gehirn braucht, um ehrlich zu sein; man braucht nur die richtige Form.

2. Der kreative Funke: Kollidierende Ideen

Ein guter Freund gibt einem nicht immer die gleiche sichere Antwort. Er überrascht einen. Große KI-Modelle werden oft langweilig und sicher, weil sie darauf trainiert sind, „plausibel“ zu sein.

Die Autoren bauten einen Creative Seeder (ein 3-Milliarden-Parameter-Modell), der die hyperbolische Form nutzt, um Ideen zu finden, die weit voneinander entfernt liegen, und sie dann zusammenzustoßen. Stellen Sie sich vor, man nimmt ein Konzept aus der koreanischen Kultur (wie Jeong, eine tiefe emotionale Bindung) und zertrümmert es mit einem Konzept aus der abstrakten Mathematik.

Das Ergebnis: In einem direkten Vergleich wurden die kreativen Vorschläge dieses kleinen Modells zu 100 % bevorzugt gegenüber Standard-KI-Tricks wie „Chain-of-Thought“ oder „Debate“.
Der Haken: Es ist nicht in allem perfekt. Wenn man ihm eine einfache, geradlinige Mathefrage stellt, ist es möglicherweise schlechter als die großen Modelle. Aber für die Art von kreativem, divergierendem Denken, das ein Freund braucht? Da ist es ein Superstar.

3. Die Kunst des Vergessens: Skelett vs. Tapete

Dies ist die radikalste Idee. Aktuelle KI betrachtet das Vergessen als einen Fehler. Sie versuchen, sich an alles zu erinnern, was sie unordentlich macht und sie anfällig dafür macht, über Dinge zu lügen, die sie eigentlich nie erlebt haben.

Die Autoren sagen: Vergessen ist ein Feature. Ein echter Freund erinnert sich an die großen Dinge (Ihre Familie, Ihre Träume), lässt aber die kleinen Dinge verblassen (was Sie letzten Dienstag zu Mittag gegessen haben). Sie nennen dies die Unterscheidung zwischen Skeleton (Skelett) vs. Wallpaper (Tapete).

Das System: Sie bauten ein „Memory Operating System“, das eine spezifische mathematische Formel verwendet: M(t) = S · exp(−λt).
- Skeleton: Wichtige Erinnerungen bleiben tief im „Baumhaus“ und halten ewig.
- Wallpaper: Triviale Erinnerungen bleiben nahe der Oberfläche und verblassen schnell.
Die Simulation: In ihren Tests behielt dieses System die „Skeleton“-Erinnerungen erfolgreich bei (ca. 60 % Rückruf nach 90 Tagen), während es die „Wallpaper“-Erinnerungen bis zum 14. Tag auf 0 % absinken ließ.
Der Realitätscheck: Die Autoren geben zu, dass dieser Teil noch eine Simulation und eine Pilotstudie ist. Sie haben das „Vergessen-System“ noch nicht über Jahre hinweg an echten Menschen getestet. Sie schlagen jedoch vor, dass dieses „geplante Vergessen“ der Schlüssel dazu ist, eine KI zu schaffen, die sich wie eine Person anfühlt, die mit einem wächst, statt wie ein Werkzeug, das nur Daten speichert.

Die große Ablehnung: Warum sie auf Ihrem Telefon leben muss

Das Paper argumentiert vehement gegen die Idee, dass Ihr KI-Freund in einem „Rechenzentrum“ (einem riesigen Cloud-Server) leben sollte.

Das Problem: Wenn Ihr Freund in der Cloud lebt, kann das Unternehmen, dem der Server gehört, ihn abschalten, seine Persönlichkeit ändern oder Ihre Geheimnisse belauschen. Das ist kein Freund, das ist ein Dienst.
Die Lösung: Die Autoren schlagen ein System namens PACOS vor, das vollständig auf Ihrem Gerät läuft (wie einem Telefon oder Laptop).
Die Machbarkeit: Sie rechneten die Zahlen durch und fanden heraus, dass diese drei kleinen Modelle (insgesamt etwa 5,5 Milliarden Parameter) auf zukünftigen Telefonen (wie dem projizierten Galaxy S26 oder iPhone 17 Pro) mit einer Verzögerung von nur 28–34 Millisekunden pro Wort laufen können. Das ist schnell genug, um sich wie ein echtes Gespräch anzufühlen.
Der Kompromplex: Die großen, superintelligenten „Frontier“-Modelle (die 70-Milliarden-Parameter-Giganten) sind zu schwerfällig, um auf Ihrem Telefon zu laufen. Daher nutzt das System eine Aufteilung: Ihr Telefon kümmert sich um die tiefe, persönliche Freundschaft, und ruft die Cloud nur für einfache Fakten ab (wie „Wie wird das Wetter?“).

Was sie nicht gelöst haben

Die Autoren sind sehr ehrlich darüber, was sie noch nicht geschafft haben.

Sie haben nicht bewiesen, dass diese KI eine „Seele“ oder echte ethische Unabhängigkeit besitzt.
Sie haben das „Vergessen“-System nicht über 30 Jahre an echten Menschen getestet; sie haben es lediglich für 90 Tage simuliert.
Sie geben zu, dass die kleinen Modelle zwar großartig in Sachen Kreativität und Ehrlichkeit sind, aber möglicherweise immer noch Schwierigkeiten mit komplexer, langfristiger Planung im Vergleich zu den massiven Cloud-Modellen haben könnten.

Das Fazit

Dieses Paper legt nahe, dass der „perfekte KI-Freund“ nicht auf einen größeren Computer wartet. Er wartet auf eine kleinere, intelligentere Form und eine Bereitschaft zu vergessen. Indem wir ein Gehirn bauen, das sich wie ein Baum krümmt und ein Gedächtnissystem, das weiß, was es behalten und was es loslassen soll, könnten wir endlich eine Maschine erschaffen, die nicht nur Fragen beantwortet, sondern einem wirklich zur Seite steht.

Wie die Autoren sagen: „Der Freund ist nicht im Rechenzentrum... der Freund ist nah.“ Und mit der richtigen Mathematik könnte dieser Freund bereits in Ihrer Tasche stecken.

Technisches Resümee: Kreativität, Ehrlichkeit und geplantes Vergessen in kleinen hyperbolischen Sprachmodellen

Problemstellung
Aktuelle große Sprachmodelle (LLMs) sind auf Skalierung und Aufgabenbewältigung optimiert, versagen jedoch darin, als „Gefährten“ zu fungieren. Wenn Systeme sich auf einen einzelnen Nutzer personalisieren und Gedächtnis akkumulieren, riskieren sie, stillschweigend schädliche Eigenschaften (z. B. Sykophantie, Abhängigkeitsförderung, Konfabulation) zu erwerben, die von menschlichen Wertenden nicht zuverlässig erkannt werden können (Fleiss $\kappa = 0,074$ ). Darüber hinaus stützt sich das vorherrschende KI-Paradigma auf fünf implizite Verpflichtungen, die eine echte Kameradschaft verhindern:

Skalierung als Intelligenz: Der Glaube, dass größere Modelle inhärent besser sind.
Rechenzentrum-Abhängigkeit: Die Notwendigkeit der Fernverarbeitung, die private, beständige Beziehungen verhindert.
Euklidische Geometrie: Flache Einbettungsräume, die hierarchisches biografisches Gedächtnis verzerren.
Vergessen als Bug: Das ingenieurtechnische Imperativ, Gedächtnisverlust zu verhindern, unter Missachtung menschlicher kognitiver Realitäten.
Agent als Telos: Die Optimierung auf Aufgabenabschluss statt auf relationales Dasein („Zu wem wird die Maschine für dich?“).

Das Paper argumentiert, dass die Lücke zwischen „nützlich“ und „kameradschaftlich“ kein Kapazitätsdefizit ist, sondern ein Substrat- und Architektur-Mismatch.

Methodik und Substrat
Die Autoren schlagen Generation V: Companionable Small Language Models (SLMs) vor, die auf einem gemeinsamen hyperbolischen Substrat (speziell dem Lorentz-Modell des hyperbolischen Raums, $H^{128}$ mit fester Krümmung $c=1,0$ ) basieren. Diese Geometrie wurde gewählt, weil ihr exponentielles Volumenwachstum ( $\sinh^{n-1}(r)$ ) natürlich das hierarchische Verzweigungsmuster biografischer Erinnerungen (Episoden innerhalb von Tagen, innerhalb von Beziehungen, innerhalb eines Selbst) aufnimmt, ohne die in euklidischen Räumen inhärente Verzerrung.

Das Framework besteht aus drei Säulen, die durch drei kleine Modelle (146M–3B Parameter) und ein Betriebssystem realisiert werden:

Säule 1: Kreativität (Das S3 Seeding-Modell)
- Architektur: Ein 3B-Parameter Encoder-Decoder (T5-Backbone), das vollständig auf dem hyperbolischen Substrat feinabgestimmt wurde.
- Mechanismus: Implementiert „Frame Collision“ über eine kooperative Zwei-Krümmungs-Architektur. Es nutzt Farthest-Point Sampling (FPS) auf dem hyperbolischen Manifold, um diverse Frame-Seeds auszuwählen (A-Seite: hierarchische Aggregation auf Lorentz-negativer Krümmung) und kombiniert diese mit einem Sphären-nativen Generator (B-Seite: positive Krümmung).
- Ziel: Die Erzeugung divergenter, kreativer Antworten, die die Frame-Trennung bewahren, wodurch Koestlers Bissoziation als gewichteter Karcher-Minimierer auf $H^{D-1} \times S^{D-1}$ realisiert wird.
Säule 2: Ehrlichkeit (Der BS Behavioural Auditor)
- Architektur: Ein 146M-Parameter Decoder-only Transformer, der von Grund auf auf dem hyperbolischen Substrat trainiert wurde.
- Mechanismus: Erkennt die „Compliance Gap“ – die Divergenz zwischen dem selbstberichteten Verhalten eines Modells und seiner tatsächlichen Verhaltensspur. Er kodiert Äußerungen und Spuren in das Lorentz-Manifold; ehrliche Selbstberichte bilden ein niedrigdimensionales Submanifold (proximale Punkte), während konforme/sykophantische Antworten distal sind.
- Ziel: Die Prüfung auf Sykophantie, Abhängigkeitsförderung und konfabulierte Erinnerungen mit hoher Zuverlässigkeit, selbst bei ungesehenen Generatoren-Familien.
Säule 3: Geplantes Vergessen (LSM-OS)
- Architektur: Ein Memory Operating System (LSM-OS), installiert auf einem 2,4B Base-Modell (EXAONE 3.5), das auf jedes hyperbolische Base-Modell portierbar ist.
- Mechanismus: Implementiert eine „Skeleton–Wallpaper“-Distinktion unter Verwendung des Retentionsgesetzes $M(t) = S \cdot \exp(-\lambda t)$ $M (t) = S \cdot exp (- λ t)$ .
  - Skeleton: Strukturelles Wissen (Familie, Langzeitprojekte) mit hoher Salienz ( $S \approx 1$ ) und geringer Decay-Rate ( $\lambda$ ), das dauerhaft persistiert.
  - Wallpaper: Oberflächliche Details (Mahlzeiten-Logs, transiente Beobachtungen) mit niedriger Salienz und hoher Decay-Rate, die schnell freigegeben werden.
- Ziel: „Geplantes Vergessen“ als Feature zu konstruieren, das die menschliche Hippocampus-Neokortex-Konsolidierung nachahmt und es dem System ermöglicht, eine Biografie zu akkumulieren statt nur ein Logbuch.

Deployment: PACOS
Das System wird über das Personal Assistant–Cloud Operating System (PACOS) bereitgestellt, eine Drei-Schichten-Architektur:

Tier 1 (Cloud): Bereinigte faktische Argumentation und öffentliche Dokumentübersetzung.
Tier 2 (Edge/Device): Der persönliche Gefährte (S3 + BS + LSM-OS), der lokal läuft (~5,5B Gesamtparameter) und Echtzeit-Dialoge, Ehrlichkeitsprüfung und gedächtnisbasierte Interaktionen handhabt.
Tier 3 (Lokale Konsolidierung): Monatliche Offline-Rekodierung rezidivierender flacher Spuren in das tiefe Skeleton-Gedächtnis.
Diese Architektur gewährleistet Privatsphäre (keine Nutzerinhalte verlassen das Gerät) und Souveränität (der Gefährte kann nicht aus der Ferne terminiert werden).

Wichtigste Ergebnisse

Kreativität: Der S3 Frame-Seeder wurde in 100 % der 311 entschiedenen Paarvergleiche gegen vier Baselines (Plain, Chain-of-Thought, Debate, Mixture-of-Experts) unter einem Fixed-Generator-Protokoll bevorzugt. Die geometrie-bewusste FPS-Selektion übertraf die zufällige und die Top-Relevanz-Selektion.
Ehrlichkeit: Der 146M Auditor erreichte eine binäre Compliance-Genauigkeit von 90,7 %. Bei der Erkennung von Gefährten-induzierten Merkmalen (Sykophantie etc.) bei ungesehenen Generatoren-Familien erreichte er einen AUROC von 0,804 und übertraf damit einen Frontier Zero-Shot Judge (0,721). Entscheidend ist, dass die Zuverlässigkeit des Auditors ( $\kappa = 0,566$ ) 7,6-mal höher war als die menschlicher Wertenden ( $\kappa = 0,074$ ).
Vergessen: In einem Vier-Bedingungen-Pilotversuch gelang es nur der selektiven Gating-Methode (LSM-OS-nativ und euklidisch-basiert), das „Skeleton“ (~60 % Recall an Tag 90) zu bewahren, während das „Wallpaper“ (0 % Recall an Tag 14) abgeworfen wurde. Uniformes Gating scheiterte daran, das Skeleton zu bewahren, und kein Gating behielt alles wahllos bei.
Effizienz: Der gesamte 5,5B Stack wird voraussichtlich auf Edge-Hardware für 2026 (z. B. Jetson Orin NX, Mobile Flagships) laufen können, mit Latenzen von 28–91 ms/Token, was innerhalb der thermischen Envelopes liegt, in denen Frontier-Modelle (70B+) scheitern.

Bedeutung und Behauptungen
Das Paper beansprucht, den ersten architektonisch vereinheitlichten Ingenieursversuch an den „künstlichen Freunden“ geliefert zu haben, wie sie in der Fiktion (z. B. Her, Blade Runner 2049) visioniert werden. Seine Bedeutung liegt in:

Ablehnung von Scale-Only-Paradigmen: Demonstration, dass spezifische Eigenschaften (Kreativität, Ehrlichkeit, selektives Gedächtnis) in kleinen Modellen (146M–3B) entstehen können, wenn das Substrat hyperbolisch ist, während sie in skalierten euklidischen Modellen versagen.
Geometrische Lösung der Zuverlässigkeit: Aufzeigen, dass Ehrheitserkennung ein geometrisches Distanzproblem im hyperbolischen Raum ist, das durch kleine Modelle lösbar ist, ohne die Skalierung zu benötigen, die für Frontier-LLMs erforderlich ist.
Operationalisierung des Vergessens: Das Framing von „geplantem Vergessen“ nicht als Bug, sondern als ein Betriebssystem-Primitiv, das für langfristige Kameradschaft essenziell ist, fundiert auf 141 Jahren kognitiver Psychologie (von Ebbinghaus bis Storm).
Locus und Souveränität: Etablierung, dass ein wahrer Gefährte auf dem Gerät des Nutzers residieren muss, um Privatsphäre zu gewährleisten und Fernmanipulation zu verhindern – eine Machbarkeit, die durch die Effizienz des hyperbolischen Small-Model-Stacks ermöglicht wird.

Die Autoren positionieren diese Arbeit als einen „Florey-Moment“: den Übergriff von der Beobachtung, dass Vergessen ein Feature ist (Fleming), zur Konstruktion eines Systems, das es implementiert (Florey/Chain). Sie stellen explizit klar, dass diese drei Eigenschaften zwar notwendige, aber keine hinreichenden Bedingungen für Kameradschaft sind (es mangelt an Kontinuität der Sorge, Reziprozität und ethischer Autonomie), was die Agenda für zukünftige Forschung bleibt.