💻 computer science

Ontology-Amplified Distillation and Contextuality Auditing for Sovereign Enterprise Language Models: A Combined Proof-of-Mechanism and Negative-Results Method Study

Diese Arbeit präsentiert eine kombinierte Studie, die zeigt, dass die ontologie-verstärkte Destillation eines Qwen3.6-27B-Modells auf einem einzelnen Apple M5 Max eine für vietnamesische Finanzaufgaben vergleichbare Verankerung wie eine GPT-5-Baseline erreicht, jedoch nicht über die statistische Aussagekraft verfügt, um Überlegenheit zu beweisen, während ein gleichzeitiger Kontextualitäts-Audit-Pilot mit negativen Ergebnissen endet, die eine Null-Restkontextualität anzeigen, was kollektiv daran scheitert, Einsatzfähigkeit, Sicherheit oder statistische Äquivalenz für souveräne Unternehmens-Sprachmodelle zu etablieren.

Ursprüngliche Autoren: Thanh Luong Tuan

Veröffentlicht 2026-07-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thanh Luong Tuan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine sehr strenge Bank in Vietnam. Die Regeln besagen, dass Sie die geheimen Kontodateien Ihrer Kunden nicht an einen riesigen, superintelligenten KI-Cloud-Server in einem anderen Land senden dürfen. Sie müssen alles innerhalb Ihres eigenen Gebäudes behalten. Aber hier liegt das Problem: Die „lokale“ KI, die Sie auf Ihren eigenen Computern ausführen können, ist normalerweise nicht so intelligent wie die riesige Cloud-KI.

Dieses Paper stellt eine große Frage: Können wir unsere lokale, kleinere KI dazu bringen, bei der Einhaltung des spezifischen Regelwerks der Bank genauso gut zu sein wie die riesige Cloud-KI?

Die Forscher haben einen cleveren Trick namens „Ontology-Amplified Distillation“ ausprobiert. Stellen Sie sich das so vor: Stellen Sie sich vor, die riesige Cloud-KI ist ein Meisterkoch, der alles kochen kann. Die lokale KI ist ein Jungkoch. Anstatt dem Jungkoch nur zu sagen: „Kopiere den Meister“, gaben sie dem Jungkoch eine spezielle, hervorgehobene Rezeptkarte (die „Ontologie“), die genau auflistet, welche Zutaten (Begriffe) für ein bestimmtes Gericht erwähnt werden müssen. Dann trainierten sie den Jungkoch, indem sie ihm die Antworten des Meisters mit der Rezeptkarte und die Antworten des Meisters ohne sie zeigten und den Jungkoch nur dann belohnten, wenn er die Karte korrekt verwendete.

Das Ergebnis: Ein Unentschieden, kein Sieg
Nachdem sie den Jungkoch (ein Modell namens Qwen3.6-27B) auf einem einzelnen Apple M5 Max Computer mit nur 47 erfundenen Übungsfragen trainiert hatten, stellten sie ihn auf die Probe. Sie gaben ihm 40 reale Bankfragen auf Vietnamesisch.

Hier ist das Ergebnis:

Der lokale Jungkoch: Beantwortete 36 von 40 Fragen richtig (das heißt, er erwähnte die erforderlichen Begriffe aus dem Regelwerk).
Der riesige Cloud-Chef (GPT-5): Beantwortete ebenfalls 36 von 40 Fragen richtig.

Sie haben unentschieden gespielt! Das lokale Modell konnte mit dem riesigen Modell in diesem spezifischen Test gleichziehen.

Aber warten Sie, lassen Sie noch nicht den Champagner knallen
Das Paper ist sehr vorsichtig damit, dies nicht als „Sieg“ oder „Durchbruch“ zu bezeichnen. Hier ist der Grund:

Es ist eine kleine Stichprobe: Der Test bestand nur aus 40 Fragen. Die Autoren sagen, dies sei zu wenig, um zu beweisen, dass sie exakt gleich sind. Es ist, als würde man eine Münze 40 Mal werfen und 20 Mal Kopf und 20 Mal Zahl erhalten; es sieht ausgeglichen aus, aber man kann nicht zu 100 % sicher sein, dass die Münze fair ist. Die Mathematik zeigt, dass der wahre Unterschied bis zu 4 Fragen in jede Richtung betragen könnte.
Der Test war einfach: Der Test fragte nicht danach, ob die Antworten korrekt oder vollständig waren. Er fragte nur: „Hast du mindestens eines der magischen Wörter aus dem Regelwerk erwähnt?“ Das ist so, als würde man einen Schüler nur danach bewerten, ob er das Wort „Apfel“ in einem Aufsatz über Obst verwendet hat, nicht aber, ob der Aufsatz überhaupt Sinn ergibt.
Das Training war künstlich: Die Übungsfragen, mit denen der Jungkoch trainiert wurde, wurden von einem Computer erstellt, waren auf Englisch verfasst und handelten von Gesundheitswesen und Versicherungen – nicht von den tatsächlichen Bankfragen, mit denen er getestet wurde. Das Paper gibt zu, dass dies ein „Proof of Mechanism“ (ein Beweis dafür, dass die Idee theoretisch funktioniert) und kein „Deployment Claim“ (ein Beweis dafür, dass es bereit für den Praxiseinsatz ist) ist.
Keine „Superkraft“: Vor der Studie hofften die Forscher, dass das lokale Modell das riesige Modell sogar übertreffen würde, da das Regelwerk kleinen Modellen mehr hilft als großen. Das passierte nicht. Sie zogen nur gleich.

Der zweite Teil: Der „Verwirrungs“-Detektor
Das Paper testete auch eine zweite Idee: ein „Contextuality Audit“. Stellen Sie sich vor, Sie stellen der KI dieselbe Frage, ändern aber die Rolle, die sie spielt (z. B. „Agieren Sie als Risikomanager“ vs. „Agieren Sie als Verkäufer“). Manchmal ändert sich die Antwort. Liegt das daran, dass die KI verwirrt und unzuverlässig ist? Oder reagiert sie einfach normal auf die neue Rolle?

Die Forscher führten einen Pilottest mit 576 Outputs durch. Sie fanden heraus, dass das, was wie „Verwirrung“ aussah, eigentlich nur eine Reaktion der KI auf die neue Rolle oder die Art der Fragestellung war. Sobald sie dies berücksichtigten, gab es null verbleibende „Verwirrung“ oder seltsames quantenähnliches Verhalten.

Das Ergebnis: Das Paper widerlegt die Idee, dass die KI im Geheimen auf eine unvorhersehbare, „kontextuelle“ Weise agiert.
Die Lektion: Wenn eine KI unterschiedliche Antworten gibt, geraten Sie nicht in Panik und schicken Sie sie sofort zu einem Menschen. Prüfen Sie zuerst, ob die Änderung nur dadurch entstand, dass Sie die Rolle oder die Formulierung geändert haben. Wenn dem so ist, ist das normal. Rufen Sie erst einen Menschen, wenn die Antwort immer noch seltsam ist, nachdem Sie diese Dinge korrigiert haben.

Das Fazit
Dieses Paper ist ein „Proof of Concept“-Bericht. Es besagt: „Hey, wir haben gezeigt, dass eine kleine, lokale KI darauf trainiert werden kann, mit einer speziellen Regelbuch-Methode bei einem spezifischen, engen Test mit einer riesigen KI gleichzuziehen. Wir haben auch gezeigt, dass wir den Unterschied zwischen einer ‚normalen Reaktion‘ und ‚tatsächlicher Verwirrung‘ in KI-Antworten erkennen können.“

Die Autoren sind jedoch sehr deutlich: Dies ist noch nicht bereit für die reale Welt. Sie haben nicht bewiesen, dass die KI sicher ist, sie haben nicht bewiesen, dass sie bei schwierigeren Fragen funktioniert, sie haben nicht bewiesen, dass sie mit den kleineren Modellen funktioniert, die sie tatsächlich verwenden wollen, und sie haben nicht bewiesen, dass sie mit echten menschlichen Experten funktioniert. Es ist ein vielversprechender erster Schritt, vergleichbar mit einem Piloten, der zum ersten Mal ein Flugzeug fliegt und sicher landet, aber bevor man ihn Passagiere befördern lässt, braucht man noch viel mehr Tests.

Technische Zusammenfassung: Ontologie-verstärkte Destillation und Kontextualitätsprüfung für souveräne Unternehmens-Sprachmodelle

Problemstellung
Regulierte Finanzinstitute in Vietnam operieren unter strengen Regeln zur Datenresidenz, die das Senden von Kundendaten an ausländische Frontier-Modell-APIs untersagen. Folglich ist ein lokal bereitstellbares Modell, das innerhalb des Perimeters des Instituts läuft, eine Compliance-Anforderung und nicht bloß eine kostensparende Alternative. Die Kernherausforderung besteht darin, zu bestimmen, ob ein kleineres, lokal bereitstellbares „Student“-Modell dieselbe Domänen-Verankerungsqualität (Domain Grounding) wie ein Frontier-Modell (z. B. GPT-5) erreichen kann, wenn es auf On-Premise-Hardware beschränkt ist. Vorherige Arbeiten etablierten, dass die Bereitstellung einer Domänen-Ontologie die Fidelität eines Frontier-Modells verbessert; es blieb jedoch unbewiesen, ob eine Ontologie-Verankerung ein Student-Modell auf Parität mit einem Frontier-Modell bei regulierten Aufgaben heben kann, insbesondere angesichts der geringeren parametrischen Abdeckung spezialisierter Domänen des Studenten.

Methodik
Die Studie verwendet einen zweiteiligen Ansatz: einen schwach dimensionierten Proof-of-Mechanism für die Modell-Destillation und eine konsolidierte Kontextualitätsprüfung für das Agenten-Routing.

Ontologie-verstärkte Destillation:
- Modell: Ein Qwen3.6-27B Student-Modell wurde lokal auf einem einzelnen Apple M5 Max (128 GB Unified Memory) unter Verwendung des MLX-Frameworks angepasst.
- Trainings-Pipeline:
  - Capture: Frontier-Lehrer (GPT-5 und GPT-5-mini) generierten 451 verankerte Trajektorien, indem sie ein spezifisches „Foundation AgenticOS“-Ontologie-Segment (abdeckend Rollen, Domänenkonzepte, Regulierungen und Interaktionsmuster) in die Prompts injizierten.
  - Supervised Fine-Tuning (SFT): Ein Low-Rank-Adapter (LoRA) wurde auf diesen Trajektorien trainiert, wodurch der Loss von 2,370 auf 0,496 reduziert wurde.
  - Ontology-Grounded Direct Preference Optimization (DPO): Der Student wurde weiter auf 47 synthetischen Präferenzpaaren (42 Training, 5 Validierung) feinjustiert. In jedem Paar wurde die ontologie-verankerte Antwort des Frontier-Modells als „bevorzugt“ markiert und die Antwort des Basismodells ohne das Ontologie-Segment als „nicht bevorzugt“. Dies isolierte das Lernen des ontologie-verankerten Verhaltens von der allgemeinen Imitation des Frontier-Modells.
- Evaluierung: Der Student wurde gegenüber GPT-5 auf einem Hold-out-Datensatz von 40 vietnamesischen Finanzdomänen-Aufgaben (Banking, Versicherung, Kapitalmärkte, Real Estate Technology) evaluiert.
- Metrik: Eine lokale, deterministische „Ontologie-Compliance“-Metrik ( $r_{onto}$ ) wurde verwendet. Sie bewertet mit 1,0, wenn eine Antwort mindestens einen der Ontologie-Terme der Aufgabe erwähnt, und mit 0,5, falls nicht. Diese Metrik fungiert als degenerierte Proxy für eine breitere vierkomponentige Compliance-Zusammensetzung, wobei der Fokus strikt auf der Präsenz von Begriffen statt auf der Korrektheit oder Vollständigkeit der Antwort liegt.
Kontextualitätsprüfung:
- Ein separates Pilotprojekt (RA-15) testete das „Contextuality-by-Default“ (CbD)-Framework für das Enterprise-Agent-Routing.
- Die Prüfung zielte darauf ab, zwischen „direktem Einfluss“ (wo Prompt-Änderungen die Antworten natürlich verändern), „Construct Coupling“ und „residualer Kontextualität“ (Inkonsistenz, die nach Berücksichtigung des direkten Einflusses bestehen bleibt) zu unterscheiden.
- Die Studie analysierte Outputs über mehrere Phasen (1.0 bis 1.3) hinweg, die Rollenrahmen, Prompt-Reihenfolgen und Konstrukt-Wortwahl umfassten, unter Verwendung sowohl lokaler Qwen- als auch Gemma-Modelle.

Wichtigste Ergebnisse

Destillations-Parität: Auf den 40 Hold-out-Aufgaben verankerte der destillierte Student 36 Aufgaben (90 % Verankerungsrate; mittleres $r_{onto} = 0,95$ $r_{o n t o} = 0, 95$ ) und erreichte damit exakt denselben Zählerwert wie der GPT-5 Frontier-Baseline.
- Disagreement-Muster: Die Modelle verfehlten unterschiedliche Aufgaben. Der Student verfehlte zwei Aufgaben aus den Bereichen Kapitalmärkte und zwei aus Real Estate Technology, während das Frontier-Modell eine Aufgabe aus den Kapitalmärkten und drei aus Real Estate Technology verfehlte. Zwei Aufgaben wurden von beiden Modellen verfehlt.
- Statistische Limitation: Bei $n=40$ liegt das 95 %-Konfidenzintervall für den gepaarten Unterschied bei ±4 Aufgaben. Das Ergebnis etabliert einen identischen Punktschätzer, demonstriert jedoch keine statistische Äquivalenz oder Überlegenheit. Die Studie stellt explizit fest, dass sie die vorregistierte „Amplifikation“-Hypothese (dass der Student das Frontier-Modell übertreffen würde) nicht bestätigen konnte.
Trainingsmechanismus: Das DPO-Ziel trennte die Präferenzpaare erfolgreich. Die Validierungs-Präferenzgenauigkeit verschob sich von 0 auf 1,0, und die Reward-Margin stieg in einer einzigen Epoche auf 0,307 an, was darauf hindeutet, dass der Student lernte, Ontologie-Terme zu präsentieren, wenn ihm das Segment präsentiert wurde.
Kontextualitätsprüfung: Das Pilotprojekt lieferte ein negatives Ergebnis hinsichtlich der residualen Kontextualität. Nach Korrektur der Wahrscheinlichkeitsdrift-Residuen und Anwendung von Erwartungsskalen-Korrekturen für den direkten Einfluss war der kanonische CbD-Grad für alle Gruppen der Phase 1.3 sowohl in den lokalen Qwen- als auch in den Gemma-Läufen Null. Das identifizierte nutzbare Signal war direkter Einfluss und Construct Coupling, nicht verbleibende residuale Kontextualität.

Bedeutung und Ansprüche
Das Paper positioniert sich als eine „Mechanismus-und-Kontroll“-Studie und nicht als eine einsatzbereite Lösung. Seine primären Beiträge sind:

Ein Trainings-Rezept: Es spezifiziert „ontologie-verstärkte Destillation“ als Methode, um spezifische Ontologie-Adhärenz-Verhaltensweisen auf souveräne Modelle zu übertragen und dieses Verhalten von der allgemeinen Frontier-Imitation zu trennen.
Ein Governance-Diagnosewerkzeug: Es schlägt eine Methode zur Kontextualitätsprüfung vor, um zu bestimmen, wann eine Diskrepanz eine Eskalation (z. B. Debatte, Synthese, menschliche Überprüfung) auslösen sollte. Die Feststellung, dass die residuale Kontextualität im Pilotprojekt Null war, legt nahe, dass offensichtliche Diskrepanzen oft durch direkten Einfluss oder Construct Coupling erklärbar sind, was für eine „Safer Precursor Rule“ plädiert, um diese Faktoren zu prüfen, bevor komplexe Multi-Agenten-Interventionen eingeleitet werden.
Ehrliche Umfangsbeschränkung: Die Autoren stellen explizit klar, dass die Evidenz keine Belege für Einsatzbereitschaft, Sicherheit, Überlegenheit oder statistische Äquivalenz liefert. Die Studie ist „unterpowert“, um echte Lücken auszuschließen, nutzt synthetische, rein englischsprachige Präferenzdaten für eine vietnamesische Evaluierung und stützt sich auf eine grobe Begriff-Abdeckungsmetrik.
Transparenz der Doppelrolle: Das Paper räumt die duale Rolle des Forschers als Plattform-Mitbegründer und Akademiker ein und stellt fest, dass die Studie sowohl als interner Proof-of-Concept für ein souveränes Modell als auch als akademischer Beitrag dient.

Fazit
Die Studie zeigt, dass ein lokal bereitstellbares Qwen3.6-27B Modell, das via ontologie-verankerter Destillation feinjustiert wurde, die Leistung eines Frontier-Modells hinsichtlich der Term-Abdeckung bei einem spezifischen Satz vietnamesischer Finanzaufgaben erreichen kann. Dies ist jedoch ein Proof-of-Mechanism mit reduzierter Power. Das Paper kommt zu dem Schluss, dass eine vollumfängliche Evaluierung erforderlich ist, um Kosten, Sicherheit (Abstention bei Out-of-Distribution Prompts), Cross-Scale-Performance (z. B. 14B Modelle) und die kreuzsprachliche Verankerung zu bewerten, bevor Behauptungen zur Einsatzbereitschaft aufgestellt werden können. Die Kontextualitätsprüfung legt ferner nahe, dass das Enterprise-Routing den direkten Einfluss und das Construct Coupling diagnostizieren sollte, bevor davon ausgegangen wird, dass eine residuale Kontextualität komplexe Multi-Agenten-Interventionen erfordert.

Mehr davon