COMPASS: The explainable agentic framework for Sovereignty, Sustainability, Compliance, and Ethics

Dit paper introduceert het COMPASS-framework, een uitlegbare multi-agent architectuur die digitale soevereiniteit, duurzaamheid, naleving en ethiek integreert in de besluitvorming van autonome systemen via modulaire governance en Retrieval-Augmented Generation.

De kern

🧭 COMPASS: De "Morele Navigatiecomputer" voor AI

Stel je voor dat je een zeer slimme, autonome robot hebt die voor je werkt. Deze robot kan alles doen: e-mails schrijven, data analyseren, of zelfs beslissingen nemen. Maar wat als deze robot per ongeluk een fout maakt? Wat als hij gegevens opslaat in een land waar dat illegaal is? Of wat als hij zo veel stroom verbruikt dat hij de planeet schade toebrengt?

Tot nu toe waren AI-systemen vaak als een auto zonder remmen: ze waren razendsnel en konden veel, maar ze hadden geen ingebouwd systeem om te checken of ze veilig, eerlijk of legaal waren.

Het paper introduceert COMPASS (Compliance and Orchestration for Multi-dimensional Principles in Autonomous Systems with Sovereignty). Dit is geen nieuwe robot, maar een slimme "coördinator" of "navigatiesysteem" die bovenop elke AI-agent wordt geplaatst.

🏗️ Hoe werkt het? De "Vier Wachten"

COMPASS werkt niet als een enkele persoon die alles beslist. Het is meer als een bestuursvergadering met vier speciale experts die elk een andere bril op hebben. Voordat de AI-agent iets doet, moet hij door deze vier "wachten" gaan:

1. De Souvereiniteits-Wachter (De Landheer):

   • Vraag: "Zitten onze data in ons eigen land, of bij een buitenlandse tech-reus?"
   • Analogie: Stel je voor dat je een huis bouwt. Deze wachter zorgt dat je geen muren maakt van stenen die je van een vijand hebt gestolen. Hij zorgt dat je digitaal "onafhankelijk" bent.

2. De Duurzaamheids-Wachter (De Energie-Manager):

   • Vraag: "Is dit de meest energiezuinige manier om deze taak te doen?"
   • Analogie: Het is alsof je een koelkast hebt die continu openstaat. Deze wachter kijkt of je de deur dichtdoet. Hij zorgt dat de AI niet onnodig veel stroom verbruikt (CO2-uitstoot).

3. De Compliance-Wachter (De Politieagent):

   • Vraag: "Is dit volgens de wet?"
   • Analogie: Net als een politieagent die kijkt of je een snelheidsovertreding maakt. Hij checkt of de AI zich houdt aan lokale wetten (zoals de nieuwe AI-wet in Canada of Europa).

4. De Ethiek-Wachter (Het Geweten):

   • Vraag: "Is dit eerlijk en goed voor de mens?"
   • Analogie: Dit is je eigen geweten. Zou je dit doen als je moeder erbij was? Hij kijkt naar eerlijkheid, privacy en of er geen vooroordelen (bias) in zitten.

🧠 De Magische Truc: RAG (Het "Bibliotheek-systeem")

Een groot probleem met AI is dat ze soms "hallucineren": ze verzinnen feiten alsof ze waar zijn. Stel, de AI denkt dat er een wet is die er niet is.

COMPASS lost dit op met RAG (Retrieval-Augmented Generation).

• Zonder RAG: De AI probeert het antwoord uit haar hoofd te bedenken (alsof ze een examen doet zonder naslagwerk).
• Met RAG: De AI mag eerst naar de bibliotheek voordat ze antwoordt. Ze zoekt in echte, gecontroleerde documenten (zoals de wetboeken of energie-rapporten) en haalt de feiten daaruit.

De Analogie:
Stel je voor dat je een rechter bent.

• Zonder RAG: Je oordeelt op basis van wat je je herinnert. Je kunt fouten maken.
• Met RAG: Je mag tijdens het proces je hand opsteken en zeggen: "Ik lees even in de wetboeken na." Je oordeel is dan gebaseerd op feiten, niet op herinnering.

⚖️ De "Rechter" (LLM-as-a-Judge)

Hoe weet COMPASS of de AI goed heeft gehandeld? Het gebruikt een andere AI als rechter.
Deze "rechter-AI" kijkt naar het voorstel van de agent en de informatie uit de bibliotheek (RAG). Hij geeft een cijfer (bijvoorbeeld 0 tot 1) en schrijft een korte uitleg: "Dit is goed, want het voldoet aan de Canadese privacywet, maar het verbruikt iets te veel stroom."

Als de scores te laag zijn, mag de AI de taak niet uitvoeren of moet hij het op een andere manier proberen.

🎯 Waarom is dit belangrijk?

Vroeger moesten bedrijven eerst een AI bouwen en daarna controleren of het veilig was (zoals een crash-test na het bouwen van een auto). Dat is te laat als er al schade is.

COMPASS bouwt de veiligheid in het ontwerp in. Het is alsof je een auto bouwt met automatische remmen, airbags en een GPS die je waarschuwt voor illegale routes, voordat je de motor start.

De voordelen:

• Vertrouwen: Mensen kunnen AI meer vertrouwen als ze weten dat er een "geweten" aan zit.
• Flexibiliteit: Je kunt de regels aanpassen per land. Wat in Canada mag, hoeft in Frankrijk niet. COMPASS past zich daar automatisch aan.
• Transparantie: Je krijgt niet alleen een "ja/nee", maar een uitleg waarom.

🚧 Wat is er nog niet perfect?

De auteurs zijn eerlijk: het systeem is nog in de testfase.

• Er zijn nog geen mensen die de beslissingen van de AI-rechter controleren (dat komt later).
• Soms kunnen de vier wachten met elkaar in conflict raken (bijvoorbeeld: "Dit is legaal, maar het verbruikt te veel stroom"). Het systeem moet dan nog slimme afwegingen maken.
• Het kan nu vooral uitleggen en scorren, maar het kan nog niet altijd zelf de actie corrigeren (zoals een andere, zuinigere computer kiezen).

Conclusie

COMPASS is een nieuwe manier om AI te bouwen. Het zorgt ervoor dat slimme robots niet alleen slim zijn, maar ook verantwoordelijk. Het combineert wetten, ethiek, duurzaamheid en nationale veiligheid in één systeem, zodat AI niet alleen werkt voor ons, maar ook voor de maatschappij en de planeet.

Het is de stap van "AI die doet wat hij wil" naar "AI die doet wat goed is".

Technische samenvatting

Probleemstelling

De snelle verspreiding van agentische systemen op basis van Large Language Models (LLM's) roept kritieke zorgen op op vier gebieden: digitale soevereiniteit, milieu-impact (duurzaamheid), regulatorische naleving en ethische uitlijning.

• Huidige tekortkomingen: Bestaande frameworks behandelen deze dimensies vaak geïsoleerd of als een naslagfunctie (post-hoc audit). Er ontbreekt een geünificeerde architectuur die deze imperatieven systematisch integreert in het besluitvormingsproces van autonome agenten.
• Complexiteit: Deze dimensies staan vaak in conflict (bijvoorbeeld: het meest energie-efficiënte model is misschien niet de meest soevereine oplossing). Het is voor systemen moeilijk om een optimale oplossing te vinden die rekening houdt met de specifieke culturele en juridische context van de inzetregio.
• Risico's: Zonder adequate governance lopen agenten het risico hallucinaties te genereren over lokale wetgeving, onethisch te handelen of afhankelijk te worden van niet-soevereine infrastructuur.

Methodologie: Het COMPASS Framework

Het paper introduceert COMPASS (Compliance and Orchestration for Multi-dimensional Principles in Autonomous Systems with Sovereignty), een nieuw multi-agent orkestratiesysteem.

1. Architectuur:
Het systeem bestaat uit een centrale Orchestrator en vier gespecialiseerde sub-agenten:

• Digital Sovereignty Agent: Evalueert data-lokalisatie, oorsprong van de provider en technologische controle.
• Carbon-Aware Agent: Analyseert de energievraag en CO2-voetafdruk van inferentie.
• Compliance Agent: Controleert naleving van lokale wetgeving (bijv. AIDA in Canada, EU AI Act).
• Ethics Agent: Evalueert uitlijning met ethische principes (eerlijkheid, privacy, autonomie).

2. Kernmechanismen:

• RAG (Retrieval-Augmented Generation): Elke sub-agent gebruikt RAG om dynamische kennisbanken (Vector DB's) te raadplegen. Hierdoor worden evaluaties gebaseerd op geverifieerde, context-specifieke documenten (zoals wetsteksten of energie-rapporten) in plaats van alleen op de interne kennis van het model.
• LLM-as-a-Judge: Het framework gebruikt een LLM (in dit geval Mistral-7B-Instruct-v0.2) als rechter. De LLM krijgt een prompt, de output van het systeem en specifieke beoordelingscriteria. Het genereert een kwantitatieve score (0.0 - 1.0) en een kwalitatieve, uitlegbaarde rechtvaardiging.
• Conflict Oplossing & Synthese: De Orchestrator verzamelt de scores en beperkingen van de vier agenten. Via een gewogen scoremechanisme worden conflicten opgelost. Een actie wordt alleen uitgevoerd als deze de kritieke drempels van alle vier de pijlers voldoet.
• Object-georiënteerd ontwerp: Het framework maakt gebruik van een compositiepatroon en erfelijkheid. Applicatie-agenten (bijv. een bankbot) erven de governance-methoden (Synchronise(), GetEthicalClearance()) direct van de basisclass, waardoor het technisch onmogelijk wordt om de ethische checks te omzeilen ("Governance by Design").

3. Evaluatiemetrics:

• BERTScore: Gebruikt om de semantische coherentie van de gegenereerde uitleg te meten, in plaats van oppervlakkige woordoverlapping (zoals BLEU/ROUGE).
• Ablatie-studie: Vergelijking tussen een "Vanilla" LLM (zonder RAG) en het "Augmented" framework (met RAG).

Belangrijkste Bijdragen

1. Eerste geïntegreerde Orkestratie: COMPASS is het eerste framework dat soevereiniteit, duurzaamheid, naleving en ethiek simultaan en in real-time orchestreert binnen de workflow van een agent.
2. Van Audit naar Preventie: Het transformeert ethische governance van een post-deployment audit naar een integraal onderdeel van de architectuur.
3. Contextuele Aanpassing: Door RAG kan het framework zich aanpassen aan specifieke regio's (bijv. Canada vs. EU) en actuele wetgeving, wat culturele en juridische relevantie garandeert.
4. Uitlegbaarheid (Explainability): Het systeem levert niet alleen een score, maar ook een menselijk leesbare rechtvaardiging gebaseerd op bronvermeldingen, wat transparantie biedt.
5. Modulariteit: Het ontwerp is agnostisch ten opzichte van de specifieke toepassing en kan eenvoudig worden geïntegreerd in bestaande agentische workflows.

Resultaten

De auteurs hebben het framework getest op 40 testgevallen (10 per dimensie).

• Impact van RAG: De integratie van RAG leidde tot significante verbeteringen in de kwaliteit van de beoordeling.
  • Bij de Soevereiniteit (SOV) en Compliance (COM) dimensies zag men vaak een stijging in de score of een correctie van foutieve aannames. Zonder RAG neigde de LLM naar hallucinaties over bestaande wetten of generieke antwoorden. Met RAG werden de antwoorden gebaseerd op feitelijke documenten.
  • De BERTScore (semantische gelijkenis tussen de gegenereerde uitleg en de referentietekst) was over het algemeen hoog (tussen 67% en 90%), wat aangeeft dat de uitleg semantisch consistent is met de bronmateriaal.
• Kwalitatieve Verschillen: Zonder RAG genereerde het model soms onjuiste scores of hallucineerde het bestaande privacywetten. Met RAG werden de redeneringen onderbouwd met specifieke citaten uit de opgehaalde documenten.
• Visualisatie: Het systeem genereert bar- en radargrafieken die de afwegingen tussen de vier dimensies visueel maken voor de gebruiker.

Betekenis en Toekomstperspectief

• Sociale Acceptatie: Het framework biedt een methodologische basis voor het verantwoord inzetten van AI in gevoelige domeinen (zoals gezondheidszorg en overheidsdiensten) door te garanderen dat systemen voldoen aan lokale waarden en wetten.
• Beperkingen:
  • Huidige evaluatie is volledig geautomatiseerd (LLM-as-a-judge); menselijke validatie (Human-in-the-loop) ontbreekt nog.
  • Het systeem kan momenteel scores en uitleg genereren, maar de automatische selectie van de beste actie (bijv. het kiezen van een ander LLM-model) is nog niet volledig geïmplementeerd.
  • Conflicten tussen agenten (bijv. soevereiniteit vs. energie-efficiëntie) vereisen nog geavanceerde orkestratiestrategieën.
• Toekomstig Werk: De auteurs plannen menselijke validatie, optimalisatie van documentcuratie voor RAG, bias-mitigatie in de "judge"-LLM, en uitbreiding naar ethische analyse op code-niveau.

Conclusie:
COMPASS is een fundamentele stap richting "Responsible AI" die de operationele autonomie van agenten in balans brengt met normatieve beperkingen. Door multi-dimensionale ethische redenering direct in de architectuur te embedden, draagt het bij aan het vertrouwen in en de betrouwbaarheid van geavanceerde AI-systemen.