Consistency Is Not Coherence: Orientation Search for Certified Alignments Between 4D Defence Upper Ontologies

In de hooggespannen wereld van nationale defensie en inlichtingen is data de valuta van veiligheid. Overheden en militaire allianties vertrouwen op enorme digitale systemen om mensen, gebeurtenissen en plaatsen te volgen, om ervoor te zorgen dat een soldaat in het veld en een strateeg in een commandocentrum dezelfde taal spreken. Om deze systemen met elkaar te laten communiceren, bouwen experts digitale woordenboeken die "ontologieën" worden genoemd. Beschouw een ontologie niet als een simpele lijst met woorden, maar als een rigoureuze kaart van hoe een specifieke gemeenschap de werkelijkheid begrijpt. Het definieert wat een "persoon" is, wat een "gebeurtenis" is, en hoe die zaken met elkaar verband houden. Wanneer twee verschillende organisaties, zoals de Britse defensiemacht en een bredere internationale alliantie, proberen informatie te delen, moeten ze hun kaarten op elkaar afstemmen. Als de ene kaart zegt dat een "persoon" een fysiek object is dat door de tijd heen bestaat, en de andere zegt dat een "persoon" een reeks momenten in de tijd is, zullen de computers die proberen deze kaarten samen te voegen vastlopen of, erger nog, stille fouten produceren die leiden tot slechte beslissingen. Het doel van dit werk is om ervoor te zorgen dat wanneer deze digitale kaarten worden samengevoegd, het resulterende beeld niet alleen consistent is, maar ook daadwerkelijk zinvol.

De onderzoekers in deze studie pakten een moeilijk probleem aan dat te maken heeft met drie specifieke digitale kaarten die in de defensie worden gebruikt: de Information Exchange Standard, die het VK gebruikt om inlichtingen te delen; de Higher Quality Data Model, die de digitale tweeling van de gebouwde omgeving van het land ondersteunt; en de Basic Formal Ontology, een standaard die door de NAVO en de Verenigde Staten wordt gebruikt. Voordat dit werk werd uitgevoerd, had niemand er succesvol een machineleesbare brug tussen de Britse Information Exchange Standard en de Higher Quality Data Model gebouwd. Het team nam een handmatig samengestelde lijst van zeventien verbindingen, gemaakt door menselijke experts die geloofden dat de twee systemen met elkaar verband hielden, en testte wat er zou gebeuren als een computer die verbindingen als absolute logische feiten zou behandelen. Het resultaat was een schokkende ontdekking: simpelweg controleren of de gecombineerde data "consistent" was, was niet genoeg.

Toen de onderzoekers de twee kaarten samenvoegden met behulp van de verbindingen van de experts, slaagde de computer voor de standaard consistentiecontrole. Het vond een model waarin alles theoretisch kon bestaan. Echter, een diepere inspectie onthulde dat het samengevoegde systeem op een manier defect was die de standaardcontrole miste. De combinatie creëerde honderd nieuwe categorieën data die logisch gezien onmogelijk konden bestaan. Bijvoorbeeld, het samengevoegde systeem verklaarde dat bepaalde operationele categorieën uit de echte wereld, zoals "gearresteerde persoon" of "getuige", lege verzamelingen waren—concepten die nooit een enkele instantie zouden kunnen hebben. Dit gebeurde omdat de doelkaart, de Higher Quality Data Model, al dertig-negen defecte categorieën bevatte voordat de samenvoeging überhaupt begon. Deze defecte categorieën waren onzichtbaar voor de standaardcontroles, verborgen diep in de structuur van de kaart. Wanneer de onderzoekers de Britse data op deze defecte categorieën mappen, probeerden ze in feite water in een beker met een gat onderin te gieten; de verbinding was technisch gezien "waar" omdat niets de lege ruimte ooit zou kunnen vullen, maar het was nutteloos voor enige echte toepassing.

Het artikel betoogt dat de gebruikelijke methode om deze problemen op te lossen te grofmazig is. Meestal, wanneer een computer een conflict vindt, verwijdert hij simpelweg de verbinding die de problemen veroorzaakte. De onderzoekers ontdekten dat deze aanpak waardevolle informatie weggooit. In plaats daarvan ontwikkelden zij een nieuwe methode genaamd "orientation search" (oriëntatiezoektocht). In plaats van te vragen "moeten we deze verbinding behouden of verwijderen?", vraagt hun methode "in welke richting stroomt deze verbinding?". Het behandelt de relatie tussen twee concepten als een variabele die kan worden aangepast. Soms zijn twee dingen exact hetzelfde; andere keren is het ene een type van het andere, maar niet andersom. Door een computer-redeneerder elke mogelijke richting voor elke verbinding te laten testen, was het team in staat de brug te repareren zonder de oorspronkelijke inzichten van de experts te verwijderen. Ze ontdekten dat voor de meeste verbindingen de twee systemen het perfect eens waren. Maar voor de weinige gevallen waar ze van mening verschilden, kon de computer precies aanwijzen waarom. De computer zou zeggen: "Deze twee concepten kunnen niet gelijk zijn, want als ze dat wel zouden zijn, zou dat een specifieke gebeurtenis in de echte wereld dwingen om een type fysiek object te zijn, wat in strijd is met de regels van het eerste systeem." De computer leverde vervolgens een specifiek tegenvoorbeeld om dit punt te bewijzen, waardoor een potentieel foutief punt werd omgezet in een gedocumenteerd verschil in hoe deze standaarden de wereld zien.

De studie testte ook hoe goed bestaande computersystemen dit probleem zelfstandig kunnen oplossen. Ze zetten twee gevestigde matching-programma's en een groot taalmodel, vergelijkbaar met de technologie achter moderne chatbots, af tegen dezelfde data. Al deze systemen faalden op dezelfde manier. Ze werden misleid door een "false friend" (valse vriend)—een paar woorden die identiek lijken maar iets anders betekenen. Beide systemen probeerden het concept van een "event" (gebeurtenis) in het Britse systeem te verbinden met een "event" in het andere systeem. In het Britse systeem is een gebeurtenis een gebeuren dat tijd in beslag neemt en mensen betreft. In het andere systeem is een gebeurtenis een enkel, instantane gebeurtenis zonder duur. De computers, die vertrouwden op de gelijkenis van de namen, dwongen deze twee verschillende ideeën om hetzelfde te zijn, wat onmiddellijk de logica van het hele systeem verbrak. De menselijke experts hadden gewaarschuwd voor deze valstrik, maar de geautomatiseerde systemen liepen er recht in. Zelfs toen de onderzoekers de geautomatiseerde systemen de lijst met verbindingen van de experts gaven en vroegen de fouten te herstellen, verwijderden de systemen of draaiden ze de correcte verbindingen om, waardoor de precieze betekenis die de experts bedoelden verloren ging.

Het uiteindelijke resultaat van dit werk is een gecertificeerde brug tussen de drie grote defensie-ontologieën. Het is een set van eenentwintig logische regels die de Britse datastandaarden verbindt met de internationale standaarden zonder enige onmogelijke categorieën te creëren of bestaande regels te breken. Cruciaal is dat deze brug de meningsverschillen niet verbergt. Waar de systemen het eens zijn, stelt het dat ze gelijk zijn. Waar ze van mening verschillen, stelt het de relatie in slechts één richting vast en voegt het een machine-gegenereerde verklaring toe over waarom ze niet gelijk kunnen zijn. Deze aanpak zorgt ervoor dat de data bruikbaar blijft en dat de verschillen tussen de standaarden worden vastgelegd als feiten in plaats van fouten. De onderzoekers ontdekten ook dat het verbinden van de vierdimensionale visie van het VK op de wereld met de internationale driedimensionale visie een specifieke aanpassing vereiste: een "persoon" in het Britse systeem is niet een fysiek object in het internationale systeem, maar eerder de geschiedenis van het bestaan van dat object. Deze subtiele verschuiving was de sleutel tot het laten werken van het gehele systeem.

Het artikel concludeert dat de manier waarop we deze digitale bruggen bouwen en testen moet veranderen. Vertrouwen op eenvoudige consistentiecontroles is gevaarlijk omdat het toestaat dat defecte kaarten de inspectie passeren. In plaats daarvan moet elke keer dat twee systemen worden samengevoegd, het proces een controle op "coherentie" bevat, om te garanderen dat geen enkele categorie onmogelijk te vullen is. Bovendien doet de richting van de verbinding er evenveel toe als de verbinding zelf. Door de richting te behandelen als een variabele die getest kan worden in plaats van een vaste aanname, kunnen onderzoekers de kennis van menselijke experts behouden terwijl ze computers laten zoeken naar het precieze logische pad. Dit werk bewijst dat we met de juiste instrumenten digitale bruggen kunnen bouwen die niet alleen consistent, maar ook werkelijk coherent zijn, waardoor verschillende defensiesystemen met vertrouwen en helderheid informatie kunnen delen.