Consistency Is Not Coherence: Orientation Search for Certified Alignments Between 4D Defence Upper Ontologies

In der hochriskanten Welt der nationalen Verteidigung und Geheimdienstaktivität sind Daten die Währung der Sicherheit. Regierungen und Militärbündnisse verlassen sich auf massive digitale Systeme, um Menschen, Ereignisse und Orte zu verfolgen, um sicherzustellen, dass ein Soldat im Feld und ein Stratege in einem Kommandozentrum dieselbe Sprache sprechen. Um diese Systeme miteinander kommunizieren zu lassen, bauen Experten digitale Wörterbücher, sogenannte „Ontologien“. Betrachten Sie eine Ontologie nicht als eine einfache Liste von Wtern, sondern als eine präzise Landkarte dessen, wie eine bestimmte Gemeinschaft die Realität versteht. Sie definiert, was eine „Person“ ist, was ein „Ereignis“ ist und wie diese Dinge miteinander in Beziehung stehen. Wenn zwei verschiedene Organisationen, wie etwa die britischen Streitkräfte und ein breiteres internationales Bündnis, versuchen, Informationen auszutauschen, müssen sie ihre Landkarten aufeinander abstimmen. Wenn eine Karte besagt, dass eine „Person“ ein physisches Objekt ist, das durch die Zeit existiert, und die andere sagt, dass eine „Person“ eine Abfolge von Momenten in der Zeit ist, werden die Computer, die versuchen, diese Karten zusammenzuführen, abstürzen oder – schlimmer noch – stille Fehler erzeugen, die zu Fehlentscheidungen führen. Das Ziel dieser Arbeit ist es, sicherzustellen, dass die resultierende Darstellung, wenn diese digitalen Landkarten zusammengeführt werden, nicht nur konsistent ist, sondern tatsächlich Sinn ergibt.

Die Forscher in dieser Studie widmeten sich einem schwierigen Problem, das drei spezifische digitale Landkarten der Verteidigung betrifft: den Information Exchange Standard, den das Vereinigte Königreich zur Informationsweitergabe nutzt; das Higher Quality Data Model, das das digitale Abbild der gebauten Umwelt des Landes untermauert; und die Basic Formal Ontology, einen Standard, der von der NATO und den USA verwendet wird. Vor dieser Arbeit hatte niemand erfolgreich eine maschinenlesbare Brücke zwischen dem britischen Information Exchange Standard und dem Higher Quality Data Model geschaffen. Das Team nahm eine von Experten kuratierte Liste von siebzehn Verbindungen, die von menschlichen Experten erstellt worden waren, die glaubten, dass die beiden Systeme miteinander verwandt seien, und testete, was passieren würde, wenn ein Computer diese Verbindungen als absolute logische Fakten behandeln würde. Das Ergebnis war eine erschreckende Entdeckung: Es reichte nicht aus, lediglich zu prüfen, ob die kombinierten Daten „konsistent“ waren.

Als die Forscher die beiden Landkarten unter Verwendung der Expertenverbindungen zusammenführten, bestand das Modell den Standard-Konsistenzcheck. Der Computer fand ein Modell, in dem theoretisch alles existieren konnte. Eine tiefergehende Untersuchung ergab jedoch, dass das kombinierte System in einer Weise defekt war, die der Standardcheck übersah. Die Kombination erzeugte einhundert neue Datenkategorien, die logisch gesehen unmöglich existieren konnten. Beispielsweise erklärte das kombinierte System, dass bestimmte reale operative Kategorien, wie etwa „verhaftete Person“ oder „Zeuge“, leere Mengen seien – Konzepte, die niemals eine einzige Instanz haben könnten. Dies geschah, weil die Ziel-Landkarte, das Higher Quality Data Model, bereits vor der Zusammenführung dreißig neun defekte Kategorien enthielt. Diese defekten Kategorien waren für die Standardprüfungen unsichtbar, verborgen tief in der Struktur der Landkarte. Als die Forscher die britischen Daten auf diese defekten Kategorien abbildeten, versuchten sie im Wesentlichen, Wasser in einen Becher mit einem Loch im Boden zu gießen; die Verbindung war technisch gesehen „wahr“, da nichts den leeren Raum jemals füllen konnte, aber sie war für jede reale Anwendung nutzlos.

Das Paper argumentt, dass die übliche Methode zur Behebung dieser Probleme zu stumpf ist. Typischerweise löscht ein Computer, wenn er auf einen Konflikt stößt, einfach die Verbindung, die die Probleme verursacht hat. Die Forscher fanden heraus, dass dieser Ansatz wertvolle Informationen wegwirft. Stattdessen entwickelten sie eine neue Methode namens „Orientation Search“ (Orientierungssuche). Anstatt zu fragen: „Sollen wir diese Verbindung behalten oder löschen?“, fragt ihre Methode: „In welche Richtung fließt diese Verbindung?“ Sie behandelt die Beziehung zwischen zwei Konzepten als eine Variable, die angepasst werden kann. Manchmal sind zwei Dinge exakt dasselbe; manchmal ist das eine eine Art des anderen, aber nicht umgekehrt. Indem sie einen Computer-Reasoner dazu brachten, jede mögliche Richtung für jede Verbindung zu testen, war das Team in der Lage, die Brücke zu reparieren, ohne die ursprünglichen Erkenntnisse der Experten zu löschen. Sie fanden heraus, dass die beiden Systeme bei den meisten Verbindungen perfekt übereinstimmten. Aber für die wenigen Fälle, in denen sie uneinig waren, konnte der Computer genau bestimmen, warum. Er würde sagen: „Diese zwei Konzepte können nicht identisch sein, weil dies erzwingen würde, dass ein spezifisches reales Ereignis eine Art von physischem Objekt ist, was den Regeln des ersten Systems widerspricht.“ Der Computer lieferte dann ein spezifisches Gegenbeispiel, um diesen Punkt zu beweisen, und verwandelte einen potenziellen Fehler in einen dokumentierten Unterschied in der Art und Weise, wie die beiden Standards die Welt betrachten.

Die Studie testete auch, wie gut bestehende Computersysteme dieses Problem eigenständig lösen können. Sie ließen zwei etablierte Matching-Programme und ein Large Language Model, ähnlich der Technologie hinter modernen Chatbots, gegen dieselben Daten laufen. Alle scheiterten auf die gleiche Weise. Sie wurden von einem „falschen Freund“ getäuscht – einem Paar von Wörtern, die identisch aussehen, aber unterschiedliche Bedeutungen haben. Beide Systeme versuchten, das Konzept eines „Ereignisses“ (Event) im britischen System mit einem „Ereignis“ im anderen System zu verbinden. Im britischen System ist ein Ereignis ein Geschehen, das Zeit beansprucht und Menschen involviert. Im anderen System ist ein Ereignis ein einzelner, augenblicklicher Moment ohne Dauer. Die Computer, die sich auf die Ähnlichkeit der Namen verließen, zwangen diese zwei unterschiedlichen Ideen dazu, dass sie dasselbe seien, was die Logik des gesamten Systems sofort zerstörte. Die menschlichen Experten hatten vor dieser Falle gewarnt, aber die automatisierten Systeme liefen direkt hinein. Selbst als die Forscher den automatisierten Systemen die Expertenliste der Verbindungen gaben und sie baten, die Fehler zu beheben, löschten die Systeme entweder die korrekten Verbindungen oder kehrten sie um, wodurch die präzise Bedeutung verloren ging, die die Experten intendiert hatten.

Das Endergebnis dieser Arbeit ist eine zertifizierte Brücke zwischen den drei großen Verteidigungs-Ontologien. Es ist ein Satz von einundzwanzig logischen Regeln, der die britischen Datenstandards mit den internationalen verbindet, ohne unmögliche Kategorien zu erzeugen oder bestehende Regeln zu brechen. Entscheidend ist, dass diese Brücke die Unstimmigkeiten nicht verbirgt. Wo die Systeme übereinstimmen, stellt sie fest, dass sie gleich sind. Wo sie uneinig sind, gibt sie die Beziehung nur in eine Richtung an und fügt eine maschinengenerierte Erklärung bei, warum sie nicht identisch sein können. Dieser Ansatz stellt sicher, dass die Daten nutzbar bleiben und dass die Unterschiede zwischen den Standards als Fakten und nicht als Fehler dokumentiert werden. Die Forscher entdeckten auch, dass die Verbindung der vierdimensionalen Sicht des Vereinigten Königreichs auf die internationale dreidimensionale Sicht eine spezifische Anpassung erforderte: Eine „Person“ im britischen System ist nicht ein physisches Objekt im internationalen System, sondern vielmehr die Geschichte der Existenz dieses Objekts. Diese subtile Verschiebung war der Schlüssel, um das gesamte System funktionstüchtig zu machen.

Das Paper kommt zu dem Schluss, dass sich die Art und Weise, wie wir diese digitalen Brücken bauen und testen, ändern muss. Sich auf einfache Konsistenzprüfungen zu verlassen, ist gefährlich, da sie es ermöglicht, dass defekte Landkarten die Inspektion bestehen. Stattdessen muss jeder Prozess, bei dem zwei Systeme zusammengeführt werden, eine Prüfung auf „Kohärenz“ beinhalten, um sicherzustellen, dass keine Kategorien unmöglich zu füllen sind. Des Weiteren ist die Richtung der Verbindung ebenso wichtig wie die Verbindung selbst. Indem man die Richtung als eine zu testende Variable behandelt, statt als eine feste Annahme, können Forscher das Wissen menschlicher Experten bewahren und gleichzeitig den Computern ermöglichen, den präzisen logischen Pfad zu finden. Diese Arbeit beweist, dass wir mit den richtigen Werkzeugen digitale Brücken bauen können, die nicht nur konsistent, sondern wahrhaft kohärent sind, sodass verschiedene Verteidigungssysteme Informationen mit Vertrauen und Klarheit austauschen können.