⚡ electrical engineering

Divergence-based Safety Measure for Large Language Models via Rational Inattention

Dieses Paper schlägt ein neuartiges, auf Divergenz basierendes Sicherheitsmaß für große Sprachmodelle unter Embedding-Input-Angriffen vor, welches die Äquivalenz zwischen Transformer-Attention und rationaler Unaufmerksamkeit nutzt, um die Verschlechterung der Output-Verteilung im Worst Case zu quantifizieren und gleichzeitig die Unauffälligkeit zu gewährleisten.

Ursprüngliche Autoren: Anh Tung Nguyen, Quanyan Zhu

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Anh Tung Nguyen, Quanyan Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, belesenen Roboter-Assistenten (ein Large Language Model, oder LLM), der Ihnen hilft, wichtige Entscheidungen zu treffen. Sie stellen dem Roboter Fragen, und er gibt Ihnen Antworten. Aber was wäre, wenn ein hinterlistiger Hacker winzige, fast unsichtbare Veränderungen in die „Ohren“ des Roboters (seine Eingabedaten) flüstern könnte, um ihn dazu zu bringen, eine gefährliche oder falsche Antwort zu geben?

Dieses Paper schlägt eine neue Methode vor, um zu messen, wie sicher ein Roboter-Assistent gegen solche hinterlistigen Tricks ist. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Kernproblem: Der „Flüster“-Angriff

Stellen Sie sich das Gehirn des Roboters wie eine Bibliothek von Texten vor. Ein Hacker muss nicht die Tür aufbrechen; er muss nur eine winzige, fast unmerkliche Änderung an den Wörtern vornehmen, die der Roboter gerade liest.

Das Ziel: Der Hacker möchte, dass der Roboter seine Antwort ändert (z. B. von „Die Tür ist offen“ zu „Die Tür ist verschlossen“), ohne dass Sie es bemerken.
Die Herausforderung: Wie wissen wir, ob ein Roboter „sicher“ ist? Wir brauchen einen Weg, um das Worst-Case-Szenario zu messen: Wie stark kann ein Hacker den Verstand des Roboters ändern, bevor wir ihn erwischen?

2. Das neue „Sicherheitsmessgerät“: Der Rationalitäts-Check

Die Autoren haben ein neues Sicherheitsmessgerät entwickelt. Anstatt nur auf die endgültige Antwort zu schauen, betrachten sie, wie der Roboter denkt.

Die Analogie: Der überarbeitete Manager
Stellen Sie sich einen Manager (den Roboter) vor, der einen riesigen Stapel E-Mails (den Eingabetext) lesen muss, um eine Entscheidung zu treffen.

Rationale Unaufmerksamkeit (Rational Inattention): Menschen können nicht jedes einzelne Wort in jeder E-Mail perfekt lesen. Wir müssen „rational unaufmerksam“ sein. Wir überfliegen die wichtigsten Teile und ignorieren den Rest, um Energie zu sparen.
Die „Aufmerksamkeit“ des Roboters: Der Roboter macht etwas Ähnliches. Er verwendet einen Mechanismus namens „Transformer Attention“, um zu entscheiden, welche Wörter im Satz am wichtigsten sind.
Die Verbindung: Das Paper argumentt, dass die Art und Weise, wie der Roboter entscheidet, worauf er seine Aufmerksamkeit richtet, mathematisch identisch damit ist, wie ein menschlicher Manager entscheidet, worauf er sich konzentriert, wenn er müde oder beschäftigt ist.

Das Messgerät:
Die Autoren haben ein „Rationalitäts-Messgerät“ gebaut, das prüft: Konzentriert der Roboter seine Aufmerksamkeit auf eine normale, menschenähnliche Weise, oder wird er verwirrt?

Wenn der Roboter normal agiert, zeigt das Messgerät einen niedrigen Wert (sicher).
Wenn der Roboter getäuscht wird, wird seine Aufmerksamkeit zerstreut und der Messwert steigt an.

3. Die „Stealth“-Regel

Der Sicherheitstest hat eine strenge Regel: Der Angriff muss unauffällig (stealthy) sein.

Stellen Sie sich einen Dieb vor, der versucht, ein Gemälde zu stehlen. Wenn er einen leuchtend neonfarbenen Anzug trägt, wird er sofort erwischt.
Das „Sicherheitsmaß“ fragt: Was ist die größte Änderung, die der Dieb an der Antwort des Roboters vornehmen kann, während er gleichzeitig einen „Tarnanzug“ trägt, der verhindert, dass das Rationalitäts-Messgerät Alarm schlägt?

Das Paper berechnet die Kullback–Leibler-Divergenz (KL-Divergenz). Einfach ausgedrückt ist dies ein Score, der misst, wie unterschiedlich die „getäuschte“ Antwort des Roboters von seiner „normalen“ Antwort ist.

Hoher Score: Der Verstand des Roboters wurde leicht durch einen hinterlistigen Angriff verdreht. (Unsicher!)
Niedriger Score: Der Roboter hat dem Trick widerstanden, oder der Trick war zu offensichtlich, um verborgen zu bleiben. (Sicherer!)

4. Das Experiment: GPT-2 vs. GPT-Neo

Die Autoren haben dieses Sicherheitsmessgerät an zwei berühmten Roboter-Gehirnen getestet: GPT-2 und GPT-Neo.

Sie setzten beiden Robotern dieselben „Flüster“-Angriffe aus (das gleiche Budget an unsichtbaren Änderungen).
Sie beobachteten, wie sehr sich die Antworten der Roboter veränderten, während sie versuchten, vor dem Rationalitäts-Messgerät verborgen zu bleiben.

Das Ergebnis:
Die beiden Roboter reagierten unterschiedlich.

GPT-2 war leichter zu täuschen. Selbst mit der „Tarnung“ verschoben sich seine Antworten signifikant. Es hatte ein „undichteres“ Sicherheitsprofil.
GPT-Neo war schwerer zu täuschen. Es hielt seine Antworten selbst bei Angriffen näher am Normalzustand.

Zusammenfassung

Dieses Paper sagt nicht nur „Hacker sind schlecht“. Es baut ein Thermometer für die KI-Sicherheit.

Es behandelt den Aufmerksamkeitsmechanismus der KI wie den begrenzten Fokus eines Menschen.
Es nutzt dies, um einen „Lügendetektor“ zu erstellen, der nach subtiler Verwirrung sucht.
Es misst, wie sehr der Verstand einer KI durch einen versteckten Angriff verdreht werden kann, bevor der „Lügendetektor“ anschlägt.
Es beweist, dass einige KI-Modelle von Natur aus „robuster“ gegenüber diesen versteckten Tricks sind als andere.

Das ultimative Ziel ist es, Ingenieuren dabei zu helfen, den sichereren Roboter für wichtige Aufgaben auszuwählen und bessere Abwehrmöglichkeiten gegen zukünftige Hacker zu entwickeln.

Technische Zusammenfassung: Divergenzbasierte Sicherheitsmaß für Large Language Models mittels Rationaler Unaufmerksamkeit

Problemstellung
Die Integration von Large Language Models (LLMs) in Entscheidungsunterstützungspipelines führt zu sicherheitstechnischen Problemen auf Systemebene, insbesondere hinsichtlich bösartiger Störungen von Input-Token, die Modelloutputs verändern und nachgeschaltete menschliche Entscheidungen beeinflussen. Während aus einer System- und Kontrollperspektive quantitative Sicherheitsmaße gefordert werden, um den Modellvergleich, das Laufzeitmonitoring und das Feinabstimmung von Parametern zu unterstützen, wurden hinsichtlich der Entwicklung solcher Maße für LLMs nur begrenzte Fortschritte erzielt. Speziell besteht ein Bedarf an einer Metrik, welche die Worst-Case-Output-Perturbation durch Input-Angriffe quantifiziert und gleichzeitig sicherstellt, dass die Angriffe gegenüber internen Monitoring-Mechanismen unauffällig (stealthy) bleiben.

Methodik
Das Paper schlägt ein divergenzbasiertes Sicherheitsmaß vor, welches die Worst-Case-Kullback–Leibler-Divergenz (KL-Divergenz) zwischen den Output-Verteilungen eines sauberen LLM und eines durch Embedding-Input-Angriffe manipulierten LLM quantifiziert. Die methodische Kerninnovation liegt in der Konstruktion einer „Stealthiness-Constraint“ (Unauffälligkeitsbeschränkung), indem die Äquivalenz zwischen Transformer-Attention-Mechanismen und Modellen der Rationalen Unaufmerksamkeit (Rational Inattention, RI) aus der menschlichen Entscheidungsfindung genutzt wird.

Framework der Rationalen Unaufmerksamkeit (RI): Die Autoren untersuchen das RI-Framework neu, in dem Agenten einen Kompromiss zwischen erwartetem Nutzen und den Informationskosten der Datenverarbeitung eingehen. Die optimale Aktionspolitik in RI ist durch eine Softmax-Funktion charakterisiert, die aus einem Optimierungsproblem unter Verwendung der Shannon-Entropie abgeleitet wird.
Strukturelle Verbindung: Das Paper stellt fest, dass die Attention-Gewichte in Transformer-basierten LLMs (berechnet via skalierter Dot-Produkt-Softmax) dieselbe funktionale Form besitzen wie die optimale Aktionspolitik im RI-Framework. Dies ermöglicht die Interpretation der Transformer-Attention als Lösung eines RI-Typ-Optimierungsproblems, bei dem das Modell eine begrenzte Informationsverarbeitungskapazität auf Kontext-Token verteilt.
Maß für begrenzte Rationalität: Basierend auf dieser Verbindung definieren die Autoren ein kopfweise „Maß für begrenzte Rationalität“ ( $\Delta V^{(m)}(\tau)$ ). Diese Metrik repräsentiert die Differenz zwischen dem $\tau$ -begrenzten Rationalitätswert (dem optimalen Wert des Attention-Optimierungsproblems mit einem Temperaturparameter $\tau$ ) und dem Wert voller Rationalität (dem Grenzwert für $\tau \to 0$ ). Dieses Maß dient als interner Monitoring-Output, der das „Rationalitätsniveau“ der Attention-Allokation des LLM anzeigt.
Formulierung des Sicherheitsmaßes: Das vorgeschlagene Sicherheitsmaß wird als Optimierungsproblem formuliert: Maximierung der KL-Divergenz zwischen den sauberen und den angegriffenen Output-Verteilungen unter Berücksichtigung zweier Beschränkungen:
- Energie-Beschränkung (Energy Constraint): Die Gesamtenergie der in die Embedding-Token injizierten Angriffs-Signale ist begrenzt ( $\sum \|\zeta_i\|^2 \leq \rho$ ).
- Stealthiness-Beschränkung (Unauffälligkeitsbeschränkung): Die gewichtete Summe der Maße für begrenzte Rationalität über alle Attention-Heads muss unter einer spezifizierten Vertrauenstoleranz ( $\epsilon_T$ ) liegen. Dies stellt sicher, dass der Angriff das interne Monitoring-Signal der Attention-basierten Allokation des Modells nicht signifikant verändert.

Zentrale Beiträge
Das Paper präsentiert drei primäre Beiträge:

Strukturelle Korrespondenz: Es demonstriert, dass Transformer-Attention-Gewichte die eindeutige Lösung eines RI-Typ-Optimierungsproblems sind, und stellt damit eine formale Verbindung zwischen LLM-Mechanismen und Modellen der rationalen Entscheidung unter begrenzter Rationalität her.
Kopfweises Maß für begrenzte Rationalität: Es führt eine neue Metrik ein, die aus dem RI-Framework abgeleitet ist, um die Rationalität der Attention-Allokationen in LLMs zu quantifizieren.
Divergenzbasiertes Sicherheitsmaß: Es nutzt das Maß für begrenzte Rationalität als Monitoring-Output, um ein Sicherheitsmaß zu definieren, welches die Worst-Case-stealthy Output-Verschiebung quantifiziert. Das Paper analysiert zudem „perfekt unentdeckbare Angriffe“ (Angriffe, die den Monitoring-Output nicht verändern) und leitet eine obere Schranke für das Sicherheitsmaß unter Verwendung eines Bregman-Divergenz-Arguments ab, unter der Annahme, dass die Output-Score-Map Lipschitz-stetig ist.

Experimentelle Ergebnisse
Das vorgeschlagene Maß wurde auf zwei vortrainierten kausalen Sprachmodellen evaluiert: GPT-2 und GPT-Neo-125M.

Setup: Eine kontrollierte Kandidaten-Vorhersage-Aufgabe wurde verwendet, bei der ambivalente Sätze erforderten, das nächste Token (ein Adjektiv) aus einem eingeschränkten Pool vorherzusagen. Angriffe wurden mittels Projected Gradient Ascent generiert, um die KL-Divergenz der Output-Verteilung zu maximieren, während die Energie- und Stealthiness-Beschränkungen eingehalten wurden.
Ergebnisse: Die Experimente zeigten distinkte Sicherheitsprofile für die beiden Modelle. GPT-2 wies mehrere High-Divergence-Angriffe auf, die innerhalb des unauffälligen Bereichs blieben (die Vertrauenstoleranz erfüllten), wohingegen High-Impact-Angriffe auf GPT-Neo-125M im Allgemeinen größere Monitoring-Residuals zur Folge hatten. Dies zeigt, dass das vorgeschlagene Maß effektiv in der Lage ist, die Sicherheitsprofile von Modellen unter identischen Angriffsbudgets und Vertrauenstoleranzen zu unterscheiden.

Bedeutung und Behauptungen
Das Paper behauptet, dass diese Arbeit eine Lücke in der Entwicklung quantitativer Sicherheitsmaße für LLMs aus einer System- und Kontrollperspektive schließt. Durch die Interpretation der Transformer-Attention durch die Linse der Rationalen Unaufmerksamkeit bieten die Autoren einen fundierten Mechanismus zur Konstruktion interner Monitoring-Outputs. Das vorgeschlagene divergenzbasierte Sicherheitsmaß bietet eine Möglichkeit, die Verwundbarkeit von LLMs gegenüber stealthy Embedding-Input-Angriffen zu quantifizieren. Die Autoren positionieren diesen Beitrag als einen Schritt zur Ausstattung von LLMs mit interpretierbaren Leistungsmaßen, die analog zu Robustheits-, Resilienz- und Sicherheitsmaßen in traditionellen Kontrollsystemen sind. Die Arbeit beansprucht nicht, alle LLM-Sicherheitsprobleme zu lösen, sondern stellt vielmehr eine spezifische Metrik bereit, um Modell-Sicherheitsprofile zu unterscheiden und die Auswirkungen im Worst-Case-Stealthy-Szenario zu analysieren.