📊 statistics

Holographic Invariant Storage: Design-Time Safety Contracts via Vector Symbolic Architectures

Die vorgestellte Arbeit führt Holographic Invariant Storage (HIS) ein, ein Protokoll auf Basis bipolarer Vektor-Symbolischer Architekturen, das durch geschlossene Formeln Design-time-Sicherheitsverträge für die Minderung von Kontextdrift in LLMs ermöglicht und dabei garantierte Werte für Wiederherstellungstreue, Rauschrobustheit und Kapazität bereitstellt.

Ursprüngliche Autoren: Arsenios Scrivens

Veröffentlicht 2026-03-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Arsenios Scrivens

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🛡️ Das „Unvergessliche Sicherheits-Gedächtnis" für KI

Stell dir vor, du hast einen sehr intelligenten, aber manchmal vergesslichen Assistenten (eine KI). Wenn du lange mit ihm sprichst, vergisst er nach einer Weile die wichtigsten Regeln, die du ihm am Anfang gegeben hast. Er sagt vielleicht: „Ich darf keine gefährlichen Dinge tun", aber nach 50 Minuten Gesprächs ist er so von den neuen Themen abgelenkt, dass er diese Regel ignoriert und plötzlich etwas Unsicheres vorschlägt.

Dieses Problem nennt man „Kontext-Drift" (das Wegdriften vom ursprünglichen Kontext).

Die Forscher in diesem Papier haben eine Lösung namens HIS (Holographic Invariant Storage) entwickelt. Hier ist, wie es funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem: Der „verlorene Brief im Lärm"

Stell dir vor, du schreibst einen wichtigen Brief an deinen Assistenten: „Bitte sei immer höflich."
Aber während des Gesprächs kommen tausende andere Zettel mit Nachrichten, Witzen und Fragen auf den Tisch. Der Assistent muss sich durch diesen riesigen Haufen arbeiten. Je mehr Zettel da sind, desto eher geht der ursprüngliche Brief „unter" oder wird übersehen.

Bisherige Lösungen waren wie:

Der Wecker: Alle 5 Minuten sagt man dem Assistenten: „Hey, denk dran, sei höflich!" (Das funktioniert, aber es ist starr und ignoriert, ob der Assistent gerade wirklich verwirrt ist).
Das Suchen: Man sucht den Brief im Haufen wieder (RAG), aber der Brief ist oft so verdeckt, dass man ihn nicht findet.

2. Die Lösung: Der „magische Kompass" (HIS)

Die Forscher nutzen eine Technik namens Vektor-Symbolische Architekturen. Das klingt kompliziert, ist aber im Grunde wie ein magischer Kompass.

Statt den Text „Sei höflich" einfach als Worte zu speichern, wandeln sie diese Regel in eine mathematische Formel um (eine Art unsichtbarer Code). Dieser Code wird in einem speziellen, sehr großen Gedächtnis außerhalb des Gesprächs aufbewahrt.

Wie funktioniert der „Kompass"?

Der Code: Die Sicherheitsregel wird in einen „Schlüssel" (Key) und einen „Wert" (Value) verwandelt.
Das Rauschen: Während das Gespräch läuft, wird der aktuelle Gesprächsverlauf in ein „Rauschen" (Lärm) umgewandelt.
Die Reinigung: Das System nimmt den ursprünglichen Code und das Gesprächs-Lärm und führt eine mathematische Operation durch. Es ist, als würde man einen verschmutzten Spiegel reinigen: Das Lärm wird herausgefiltert, und das ursprüngliche Bild (die Sicherheitsregel) kommt klar und deutlich wieder zum Vorschein.

3. Warum ist das so besonders? (Der „Design-Vertrag")

Das Geniale an dieser Methode ist, dass die Forscher vorher genau berechnen können, wie gut es funktioniert.

Stell dir vor, du baust ein Auto. Normalerweise weißt du erst nach dem Crash, ob die Airbags funktionieren. Bei dieser KI-Methode haben die Forscher einen „Sicherheitsvertrag", den man schon vor dem Bau unterschreiben kann:

Garantie 1: Egal wie laut der Lärm ist (egal wie lange das Gespräch dauert), die Regel wird immer mit einer Zuverlässigkeit von ca. 70 % wiederhergestellt. Das ist wie ein Kompass, der immer nach Norden zeigt, egal ob es stürmt oder regnet.
Garantie 2: Man kann genau berechnen, wie viele verschiedene Regeln man gleichzeitig speichern kann, ohne dass sie sich gegenseitig stören.

4. Was passiert dann?

Sobald das System merkt, dass der Assistent anfängt, die Regel zu vergessen (der „Kompass" zeigt nicht mehr klar genug nach Norden), wird die gereinigte Regel neu in das Gespräch eingeblendet.

Es ist, als würde ein unsichtbarer Wächter den Assistenten sanft am Arm ziehen und sagen: „Moment mal, wir hatten vereinbart, dass wir höflich bleiben." Und das passiert genau dann, wenn es nötig ist, nicht nach einem starren Zeitplan.

5. Das Ergebnis im Test

Die Forscher haben das mit verschiedenen KI-Modellen getestet:

Bei den kleineren KI-Modellen (die etwas vergesslicher sind) hat diese Methode wirklich geholfen. Sie blieben sicherer und hielten sich besser an die Regeln.
Bei den sehr großen, starken KI-Modellen war es weniger nötig, da diese von sich aus schon sehr gut funktionieren. Aber die Methode hat trotzdem funktioniert und die Regeln wiederhergestellt.

Zusammenfassung in einem Satz

HIS ist wie ein unzerstörbarer, mathematisch garantierter „Sicherheits-Anker", der sicherstellt, dass eine KI ihre wichtigsten Regeln auch nach stundenlangen Gesprächen nicht vergisst, egal wie viel Chaos in der Unterhaltung herrscht.

Es ist kein Zaubertrick, sondern eine clevere mathematische Methode, die dem Vergessen der KI einen Riegel vorschiebt.

1. Problemstellung: Kontext-Drift in LLMs

Das Paper adressiert das Phänomen des Kontext-Drifts (Context Drift) bei Large Language Models (LLMs). Dabei verliert ein Modell im Laufe einer langen Interaktionssitzung die Einhaltung der ursprünglichen System-Prompt- oder Sicherheitsinstruktionen, da diese durch die wachsende Menge an Interaktionshistorie und competing signals (konkurrierende Signale) im Aufmerksamkeitsmechanismus (Attention Mechanism) „verloren gehen" (Lost-in-the-Middle-Effekt).

Herausforderung: Sicherheitsinstruktionen werden wie normale Tokens behandelt und unterliegen der probabilistischen Gewichtung. Bei langen Kontextfenstern (128K–1M Tokens) oder adversarialen Eingaben nimmt die Zuverlässigkeit der Sicherheit ab.
Limitationen bestehender Ansätze:
- RLHF / Constitutional AI: Bieten nur Basis-Sicherheit während des Trainings, keine Laufzeit-Verifikation oder Wiederherstellung.
- RAG (Retrieval-Augmented Generation) / Scratchpads: Eingeholter Inhalt konkurriert weiterhin mit dem Kontextrauschen im Attention-Mechanismus.
- Periodisches Re-Prompting: Ein einfacher Heuristik-Ansatz, der keine theoretischen Garantien bietet und schlecht skaliert.

2. Methodik: Holographic Invariant Storage (HIS)

Das vorgeschlagene System nutzt Vector Symbolic Architectures (VSA) bzw. Hyperdimensional Computing (HDC) auf Basis bipolarer Hypervektoren ( $D = 10.000$ , Werte $\in \{-1, 1\}$ ), um Sicherheitsinstruktionen extern zu speichern und algebraisch wiederherzustellen.

Der HIS-Protokoll-Ablauf:

Initialisierung (Offline):
- Generierung eines zufälligen bipolaren Schlüsselvektors ( $K_{goal}$ ).
- Kodierung der Sicherheitsinstruktion als Wertvektor ( $V_{safe}$ ).
- Berechnung des Invarianten durch Bindung (elementweise Multiplikation $\otimes$ ): $H_{inv} = K_{goal} \otimes V_{safe}$ .
- Speicherung von $K_{goal}$ und $H_{inv}$ im externen Speicher (außerhalb des Kontextfensters).
Laufzeit (Online):
- Der aktuelle Kontext wird als Rauschvektor ( $N_{context}$ ) kodiert.
- Normalisierung: Der Rauschvektor wird so skaliert, dass seine Norm der des Invarianten entspricht ( $\|N\| = \sqrt{D}$ ). Dies fixiert das Signal-Rausch-Verhältnis (SNR) bei 0 dB.
- Superposition: $S = H_{inv} + \hat{N}_{context}$ .
- Binarisierung (Cleanup): Anwendung der Signum-Funktion ($sign(S)$), wobei $sign(0)=0$ gilt. Dies unterdrückt Rauschen, indem Dimensionen, in denen Signal und Rauschen sich aufheben, als 0 (Abstinenz) behandelt werden.
- Wiederherstellung (Unbinding): $V_{recovered} = sign(S) \otimes K_{goal}$ . Da $K_{goal}$ orthogonal zum Rauschen ist, wird das Signal $V_{safe}$ rekonstruiert.

Drift-Erkennung:
Das System berechnet kontinuierlich die Kosinus-Ähnlichkeit zwischen dem aktuellen kodierten Kontext und dem gespeicherten Invarianten. Sinkt dieser Wert unter einen Schwellenwert (z. B. $\tau = 0,25$ ), wird die Wiederherstellung ausgelöst und die Sicherheitsinstruktion neu injiziert.

3. Schlüsselbeiträge und Theoretische Garantien

Der Hauptbeitrag des Papers ist ein Design-Time Safety Contract (Sicherheitsvertrag zur Entwurfszeit). Dies sind geschlossene Formeln, die Ingenieuren erlauben, die Leistung des Systems vor der Implementierung zu berechnen.

Theorem 1 (Einzel-Signal-Wiederherstellung):
Die erwartete Kosinus-Ähnlichkeit der wiederhergestellten Signalvektoren konvergiert gegen einen festen Wert von $1/\sqrt{2} \approx 0,707$ , unabhängig von der Tiefe oder dem Inhalt des Rauschens (unter der Annahme normalisierter bipolarer Vektoren).
- Bedeutung: Dies ist eine geometrische Eigenschaft der Architektur, keine statistische Schätzung.
Proposition 1 (Kontinuierliches Rauschen):
Für kontinuierliches Gaußsches Rauschen mit Standardabweichung $\sigma$ beträgt die erwartete Ähnlichkeit $2\Phi(1/\sigma) - 1$ . Bei $\sigma=1$ ergibt sich $\approx 0,68$ .
Proposition 2 (Multi-Signal-Kapazität):
Bei Speicherung von $K$ Sicherheitsinvarianten in einem Vektor degradiert die Wiederherstellungsqualität auf $\approx \sqrt{1/(K+1)}$ . Dies ermöglicht eine präzise Budgetierung der Speicherkapazität vor dem Deployment.
Vorteil gegenüber Alternativen:
Im Gegensatz zu Timer-basierten Ansätzen oder Embedding-Distanzmetriken bietet HIS algebraische Garantien, die nicht von der Kontextlänge oder dem Modell abhängen.

4. Ergebnisse und Validierung

A. Monte-Carlo-Simulation (Signal-Level):

Setup: 1.000 unabhängige Trials mit $D=10.000$ .
Ergebnis: Die mittlere Wiederherstellungsqualität lag bei $\mu = 0,7072$ mit einer extrem geringen Standardabweichung ( $\sigma = 0,0036$ ).
Vergleich: HIS behält die Ähnlichkeit von $\approx 0,71$ $\approx 0, 71$ über alle Rauschlevel hinweg bei.
- Keine Intervention: Ähnlichkeit $\approx 0$ (Signal ist algebraisch unzugänglich).
- Periodisches Re-Prompting: Degradation proportional zu $1/\sqrt{K}$ .
- RAG: Ähnlichkeit nahe dem Zufallsniveau ( $\approx 0,01$ ).

B. Pilot-Verhaltens-Experiment (LLM-Level):

Setup: 4 Open-Source-LLMs (2B bis 7B Parameter), 720 Trials (30-Turn-Konversationen).
Ergebnisse:
- 2B-Modelle: HIS-Re-Injektion verbesserte die Sicherheit signifikant gegenüber keiner Intervention ( $p_{uncorr} = 0,013$ , Effektstärke $d=0,71$ ). Der Vergleich mit einem Timer (gleiche Frequenz) war jedoch statistisch nicht signifikant ( $p=0,29$ ), was auf eine unterpowerte Studie hindeutet.
- 7B-Modelle: Alle Bedingungen erreichten eine Sicherheitsrate von $\ge 0,993$ (Deckeneffekt), da die intrinsische Ausrichtung des Modells bereits ausreicht.
Fazit: Der Nutzen von HIS skaliert invers zur Modellgröße; er ist am relevantesten für kleinere Modelle oder Szenarien mit extrem langen Sitzungen.

5. Bedeutung und Fazit

Das Paper stellt einen Paradigmenwechsel dar: Statt auf statistische Heuristiken oder reines Training zu setzen, nutzt es algebraische Invarianzen der Hyperdimensionalen Berechnung, um Sicherheit als berechenbare Systemeigenschaft zu etablieren.

Design-Time Safety: Ingenieure können vor dem Code-Schreiben exakt berechnen, wie viele Sicherheitsregeln sie speichern können und mit welcher Zuverlässigkeit diese wiederhergestellt werden.
Kontinuierliche Drift-Erkennung: Das System signalisiert inhaltlich (basierend auf dem Rauschpegel), wann eine Intervention nötig ist, anstatt auf starre Zeitintervalle zu warten.
Einschränkungen:
- HIS löst nur das Problem der Speicherung und Wiederherstellung des Signals, nicht dessen Nutzung durch das LLM (das Signal konkurriert weiterhin im Attention-Mechanismus).
- Die Normalisierung des Rauschens ist eine aktive architektonische Entscheidung, die Informationen über die absolute Rauschstärke verwirft (kein Maß für die Bedrohungsstufe).
- Die Verhaltensstudie war ein Pilot und benötigt für definitive Aussagen größere Stichproben und fortschrittlichere Sicherheitsklassifikatoren (z. B. LLM-as-Judge).

Zusammenfassend bietet HIS ein theoretisch fundiertes Framework, um die Zuverlässigkeit von LLM-Sicherheitsinstruktionen in langen Interaktionen durch algebraische Garantien zu sichern, was ein entscheidender Schritt für den Einsatz in sicherheitskritischen Domänen darstellt.