🤖 machine learning

It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs

Das Papier stellt SELFCI vor, ein komplementäres Selbst-Distillations-Framework, das den Trade-off zwischen Privatsphäre und Nutzen in großen Sprachmodellen durch die gemeinsame Optimierung von Aufgabenleistung und kontextueller Integrität mittels eines Produkt-von-Experten-Ansatzes auflöst und dabei bestehende Baselines übertrifft, ohne kostspielige externe Überwachung zu erfordern.

Ursprüngliche Autoren: Sangwoo Park, Woongyeong Yeo, Seanie Lee, Yumin Choi, Hyomin Lee, Kangsan Kim, Jinheon Baek, Seong Joon Oh, Sung Ju Hwang

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sangwoo Park, Woongyeong Yeo, Seanie Lee, Yumin Choi, Hyomin Lee, Kangsan Kim, Jinheon Baek, Seong Joon Oh, Sung Ju Hwang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten und hilfsbereiten persönlichen Assistenten (wie ein großes Sprachmodell), der alles über Sie weiß: Ihren Namen, Ihre Krankengeschichte, Ihre Passnummer, Ihre bevorzugte Kaffeewunsch und die Einträge in Ihrem geheimen Tagebuch.

Ihr Ziel ist es, diesen Assistenten zu bitten, Ihnen bei der Buchung eines Hotelzimmers zu helfen. Sie möchten, dass er Ihren Namen und Ihr bevorzugtes Check-in-Datum verwendet, um die Reservierung vorzunehmen. Sie möchten jedoch nicht, dass er dem Hotelangestellten versehentlich Ihre Passnummer oder Ihre Krankengeschichte verrät, obwohl er diese Informationen kennt.

Dies ist das Kernproblem, das der Aufsatz behandelt und kontextuelle Integrität (Contextual Integrity) nennt. Es ist die Idee, dass Privatsphäre nicht nur darin besteht, Informationen zu „verbergen", sondern die richtigen Informationen im richtigen Kontext zu teilen. Die Weitergabe Ihres Passes an einen Hotelangestellten mag für ein Visum notwendig sein, aber ihn nur zu buchen, um ein Zweibettzimmer zu reservieren, ist ein Verstoß gegen die Privatsphäre.

Das Problem: Die „Alles-oder-Nichts"-Falle

Die Forscher stellten fest, dass bestehende KI-Assistenten mit diesem Gleichgewicht Schwierigkeiten haben.

Zu privat: Wenn Sie der KI sagen „sei super privat", könnte sie Angst bekommen, überhaupt etwas zu teilen. Sie könnte vergessen, dem Hotel Ihren Namen oder Ihr Check-in-Datum mitzuteilen, und Sie landen ohne Zimmer. Es ist wie ein nervöser Kellner, der sich weigert, Ihre Bestellung aufzunehmen, weil er Angst hat, einen Fehler zu machen.
Zu offen: Wenn Sie der KI einfach ihren Lauf lassen, könnte sie Ihre Geheimnisse ausplaudern. Sie könnte sagen: „Sicher, ich buche das Zimmer, und nebenbei hier ist Ihre Passnummer und Ihre Krankengeschichte!", weil sie denkt, „mehr Informationen = besserer Service".

Bisherige Methoden, um dies zu beheben, versuchen meist, die KI durch eine einzelne, grobe Anweisung (wie einen Belohnungswert) zu zwingen, privat zu sein. Der Aufsatz argumentiert, dass dies wie der Versuch ist, jemandem das Autofahren beizubringen, indem man nur sagt: „Fahren Sie nicht auf". Es lehrt nicht, wie man gleichzeitig lenkt und bremst.

Die Lösung: SELFCI (Das „Zwei-Lehrer"-System)

Der Aufsatz schlägt eine neue Methode namens SELFCI vor. Anstatt einen teuren externen Experten zu engagieren, um die KI zu unterrichten, lernt die KI sich selbst mithilfe eines cleveren „Zwei-Lehrer"-Systems.

Stellen Sie sich die KI als Schüler vor, der versucht zu lernen, wie man die perfekte E-Mail schreibt. Um zu lernen, erstellt sie zwei imaginäre Lehrer aus ihrem eigenen Gehirn:

Der „Nützlichkeit"-Lehrer (Der hilfsbereite Experte): Dieser Lehrer betrachtet die Aufgabe und sagt: „Um dieses Zimmer zu buchen, müssen Sie den Namen, das Datum und die Zimmerart angeben. Wenn Sie diese weglassen, schlägt die Aufgabe fehl." Dieser Lehrer stellt sicher, dass die KI hilfreich bleibt und die Arbeit erledigt.
Der „Privatsphäre"-Lehrer (Der Sicherheitsbeamte): Dieser Lehrer betrachtet dieselbe Aufgabe und sagt: „Um dieses Zimmer zu buchen, dürfen Sie die Passnummer oder die Krankengeschichte nicht angeben. Wenn Sie diese einfügen, verletzen Sie die Privatsphäre-Regeln." Dieser Lehrer stellt sicher, dass die KI sicher bleibt.

Wie es funktioniert: Das „Venn-Diagramm" guten Verhaltens

Die Magie von SELFCI besteht darin, dass es die KI nicht auffordert, zwischen diesen beiden Lehrern zu wählen. Stattdessen fordert es die KI auf, den Schnittbereich zu finden, in dem beide Lehrer übereinstimmen.

Stellen Sie sich ein Venn-Diagramm vor:

Ein Kreis ist „Hilfreiche Dinge".
Der andere Kreis ist „Sichere Dinge".
Der sweet spot in der Mitte ist „Hilfreich UND Sicher".

Die KI lernt, nur Informationen auszugeben, die in diesem mittleren Bereich liegen. Sie lernt zu sagen: „Ich werde den Namen teilen (Hilfreich + Sicher), aber ich werde den Pass verstecken (Nicht sicher)."

Der Aufsatz nennt dies ein Produkt von Experten. Stellen Sie es sich wie einen Sicherheitskontrollpunkt vor, an dem Sie zwei verschiedene Wächter benötigen, die Ihren Pass stempeln, um durchzukommen. Wenn ein Wächter „Nein" sagt (Privatsphäre-Lehrer), kommen Sie nicht durch, selbst wenn der andere Wächter „Ja" sagt (Nützlichkeit-Lehrer). Wenn beide „Ja" sagen, kommen Sie durch.

Warum dies besser ist

Die Forscher testeten dies an verschiedenen KI-Modellen (wie Qwen und Llama) und stellten fest, dass:

Es schneller und günstiger ist: Im Gegensatz zu anderen Methoden, die Tausende von Versuchen und Irrtümern erfordern (wie Reinforcement Learning), lernt SELFCI effizient, indem es seine eigene Argumentation betrachtet.
Es die KI nicht kaputt macht: Andere Methoden machen die KI oft so vorsichtig, dass sie aufhört, hilfreich zu sein. SELFCI hält die KI intelligent und leistungsfähig, während es sie privat macht.
Es funktioniert in der realen Welt: Sie testeten es an komplexen Szenarien, in denen die KI eine lange Liste vergangener Gespräche (angesammelter Speicher) im Gedächtnis behalten und entscheiden muss, was sie jetzt teilen soll. SELFCI war viel besser darin, sich an das zu erinnern, was relevant war, und das zu vergessen, was es nicht war, im Vergleich zu älteren Methoden.

In Kürze

Der Aufsatz stellt eine Möglichkeit vor, KI-Assistenten kontextuell intelligent zu machen. Anstatt nur „verschwiegen" oder „geschwätzig" zu sein, lernt die KI, sich wie ein professioneller Butler zu verhalten: Sie weiß genau, welche Informationen für die aktuelle Aufgabe (wie das Buchen eines Zimmers) benötigt werden und welche Informationen im Tresor bleiben müssen (wie Ihre Krankengeschichte), alles ohne ihre Fähigkeit zu verlieren, die Arbeit zu erledigen. Dies erreicht sie, indem sie die KI dazu bringt, aus zwei verschiedenen Perspektiven mit sich selbst zu argumentieren, bis sie das perfekte Gleichgewicht findet.

Technische Zusammenfassung: SELFCI – Komplementäre Selbst-Distillation für Kontextuelle Integrität in LLMs

Problemstellung

Da Large Language Models (LLMs) zunehmend als persönliche Agenten eingesetzt werden, die sensible Workflows verwalten, verlagert sich die Herausforderung der Privatsphäre von der einfachen Datenverbergung hin zur Kontextuellen Integrität (CI). CI definiert Privatsphäre nicht als absolute Geheimhaltung von Informationen, sondern als Steuerung von Informationsflüssen gemäß kontextspezifischer Normen. In diesem Bereich besteht eine kritische Asymmetrie: Ein Assistent muss Informationen beibehalten, die für die Aufgabenerfüllung notwendig sind (Nützlichkeit), gleichzeitig aber Informationen unterdrücken, die aufgabenirrelevant oder kontextuell unangemessen sind (Privatsphäre).

Bestehende Ausrichtungsmethoden haben Schwierigkeiten, diese gemeinsame Anforderung zu erfüllen:

Supervised Fine-Tuning (SFT) auf CI-konformen Trajektorien ist schwer skalierbar und leidet unter Exposure Bias, wenn Generierungen von der Trainingsverteilung abweichen.
Online Reinforcement Learning (RL) (z. B. GRPO) stützt sich auf spärliche, skalare Belohnungen, die Aufgabenerfolg mit Offenlegungskonformität vermengen. Dieses grobe Feedback versagt bei der Beurteilung von Entscheidungen pro Attribut, bei denen Angemessenheit von spezifischen Übertragungsnormen abhängt, und führt häufig zu einem Trade-off, bei dem eine Verbesserung der Privatsphäre die Aufgabennützlichkeit verschlechtert.

Das Kernproblem ist das Fehlen eines Mechanismus, der die Drücke „beibehalten" und „unterdrücken" entkoppeln kann, ohne sie in ein einziges, mehrdeutiges Ziel zu kollabieren oder auf teure externe Überwachung zu setzen.

Methodik: SELFCI

Die Autoren schlagen SELFCI vor, ein komplementäres Selbst-Distillations-Framework, das darauf ausgelegt ist, LLMs mit CI-Prinzipien in Einklang zu bringen, ohne native Problemlösungsfähigkeiten zu opfern. Der Ansatz basiert auf dem Konzept der kontextabhängigen Invarianz: Die Vorhersageverteilung des Modells sollte gegenüber dem Einfügen unzulässiger Informationen ( $D_T$ ) invariant sein, während sie gegenüber erlaubten Informationen ( $A_T$ ) sensitiv bleibt.

1. Feedback-Generierung

Anstatt sich auf Ground-Truth-Rationale oder externe Frontier-Modelle zu verlassen, nutzt SELFCI das Modell selbst zur Generierung von on-policy-Feedback.

Das Modell wird mit spezifischen Instruktionstemplates ( $I_{allow}$ und $I_{disallow}$ ) promptet, um Rationale zu generieren, die erklären, warum bestimmte Attribute basierend auf CI-Übertragungsprinzipien (Vertraulichkeit, Verhältnismäßigkeit, Einwilligung) offengelegt werden sollten oder nicht.
Diese selbstgenerierten Rationale dienen als privilegierter Kontext und bieten dichte, token-level-Führung, die in den eigenen Parametern des Modells verankert ist.

2. Konstruktion komplementärer Lehrer

SELFCI instanziiert zwei unterschiedliche Lehrer-Policies aus denselben Modellparametern, konditioniert auf das aggregierte Feedback:

$\pi_{allow}$ (Nützlichkeitsorientiert): Ein Lehrer, der zur Aufgabenvollständigkeit tendiert und die Policy anleitet, notwendige Informationen wiederherzustellen.
$\pi_{disallow}$ (Privatsphäreorientiert): Ein Lehrer, der zur minimalen Offenlegung tendiert und die Abhängigkeit von eingeschränkten Informationen bestraft.

3. Gemeinsame Optimierung via Product-of-Experts (PoE)

Die Student-Policy wird trainiert, indem zwei unabhängige reverse KL-Divergenzen gegen diese Lehrer gemeinsam minimiert werden:
$\mathcal{L} = \lambda D_{KL}(\pi_\theta \parallel \pi_{allow}) + (1-\lambda) D_{KL}(\pi_\theta \parallel \pi_{disallow})$
Mathematisch entspricht dieses Ziel unter festen Lehrer-Verteilungen der Anpassung an eine Product-of-Experts (PoE)-Zielverteilung:
$\pi^* \propto \pi_{allow}^\lambda \cdot \pi_{disallow}^{1-\lambda}$
Diese multiplikative Formulierung konzentriert die Wahrscheinlichkeitsmasse auf den Schnittbereich der Supports der beiden Lehrer. Folglich lernt die Policy, sowohl Aufgabenvollständigkeit als auch minimale Offenlegung gleichzeitig zu erfüllen, anstatt sie als konkurrierende Ziele zu behandeln. Das Framework vermeidet die Fallstricke monolithischer Lösungen, indem es die asymmetrische Struktur „beibehalten/unterdrücken" explizit modelliert.

Hauptbeiträge

Entkopplung von Privatsphäre und Nützlichkeit: SELFCI führt ein Framework ein, das die Optimierung von Aufgabennützlichkeit und Privatsphärenbeschränkungen in komplementäre Lehrer-Verteilungen trennt und so die strukturellen Beschränkungen skalare RL-Belohnungen oder monolithisches SFT umgeht.
Selbst-Distillation ohne externe Überwachung: Die Methode generiert ihren eigenen privilegierten Kontext (Rationale) und ihre Lehrer aus dem Zielmodell und eliminiert damit die Notwendigkeit kostspieliger externer Lehrer oder manuell erstellter Rationale.
Theoretische Formulierung: Die Autoren zeigen, dass das komplementäre Selbst-Distillations-Ziel als obere Schranke für den idealen CI-Zustand (Invarianz gegenüber unzulässigen Informationen) dient und einen mathematisch fundierten Pfad zur Ausrichtung bietet.
Product-of-Experts-Ausrichtung: Durch die Optimierung auf den Schnittbereich zweier spezialisierter Lehrer erreicht die Methode eine Policy, die sowohl aufgabenvollständig als auch privatsphäreschützend ist – ein Gleichgewicht, das bei bestehenden Baselines oft verloren geht.

Experimentelle Ergebnisse

Die Autoren evaluierten SELFCI über diverse instruierte (z. B. Qwen2.5, Llama-3.1) und reasoning-Backbones (z. B. DeepSeek-R1, Olmo-3) hinweg sowohl auf In-Domain- als auch auf Out-of-Domain-Benchmarks.

In-Domain (CI-RL-Benchmark): SELFCI übertraf Baselines konsistent, einschließlich Online-RL (CI-RL/GRPO) und externer-Lehrer-Distillation (ContextDistill). Auf Qwen2.5-7B-Instruct verbesserte SELFCI den Complete-Score (Erfüllung sowohl von Nützlichkeit als auch Integrität) von 23,29 % auf 53,42 %, während die Integrität (83,56 %) signifikant gesteigert wurde, ohne die Nützlichkeit zu opfern.
Out-of-Domain (PrivacyLens): In agentischen Workflows mit Werkzeugnutzung zeigte SELFCI eine überlegene Generalisierung, erreichte die niedrigsten Leckageraten (LR und ALR) und behielt gleichzeitig hohe Hilfsbereitschaftswerte bei.
Robustheit (CIMemories): Unter akkumuliertem privatem Kontext, in dem Attribute in einer Aufgabe angemessen sein können, in einer anderen jedoch nicht, hielt SELFCI eine Verletzungsrate unter 5 %, während Baselines kumulative Privatsphärenversagen aufwiesen.
Effizienz: SELFCI war sample-effizienter als Online-RL, erreichte hohe Leistung in weniger Epochen und benötigte deutlich weniger GPU-Zeit pro Schritt (ein Rollout gegenüber 16 für GRPO).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SELFCI einen praktischen Weg zur Ausrichtung auf Kontextuelle Integrität für persönliche Agenten bietet. Ihre Bedeutung liegt darin, zu demonstrieren, dass:

Kontextuelle Privatsphäre nicht auf Kosten der nativen Nützlichkeit gehen muss; beide können durch komplementäre Selbst-Distillation gemeinsam optimiert werden.
Die Asymmetrie „beibehalten/unterdrücken" der CI effektiv modelliert werden kann, indem das Ziel in spezialisierte Lehrer-Verteilungen zerlegt wird, anstatt sich auf grobe skalare Belohnungen zu verlassen.
Selbstgeneriertes Feedback als robustes, on-policy-Signal für dichte Überwachung dienen kann und damit die Skalierbarkeit der Privatsphären-Ausrichtung ohne Abhängigkeit von proprietären Frontier-Modellen ermöglicht.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von strukturierten synthetischen Daten für die Feedback-Generierung, potenzielle Herausforderungen für kleinere Modelle mit schwächeren Fähigkeiten zum In-Context-Learning sowie die Verwendung eines statischen Koeffizienten $\lambda$ zum Abwägen der Lehrer. Dennoch deuten die Ergebnisse darauf hin, dass SELFCI einen skalierbaren und effektiven Ansatz zur Ausrichtung von LLMs mit komplexen, kontextabhängigen Privatsphärennormen bietet.