🤖 AI

KYA: A Framework-Agnostic Trust Layer for Autonomous Systems with Verifiable Provenance and Hierarchical Policy Composition

KYA est une couche de confiance open-source et indépendante des frameworks pour les systèmes autonomes qui utilise cinq primitives fondamentales — notamment un pipeline d'application sécurisé à quatre portes, une composition hiérarchique des politiques et une notation de confiance unifiée — pour détecter les dérives, les fuites et les attaques adverses des agents tout en maintenant une latence inférieure à la milliseconde et un débit élevé.

Auteurs originaux : Kolawole Quadri

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kolawole Quadri

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une flotte de robots autonomes (agents IA) travaillant pour vous. Ils sollicitent des prêts, trient des patients médicaux ou négocient des actions. Actuellement, les outils que nous utilisons pour surveiller ces robots (appelés « observabilité ») ressemblent au tableau de bord d'une voiture : ils vous indiquent si le moteur chauffe, si la voiture roule lentement ou si une pièce est cassée.

KYA (Know Your Agents / Connaître Vos Agents) est un nouveau système qui ne se contente pas de surveiller le moteur ; il agit comme un gardien de sécurité, un détective et un notaire réunis en une seule entité. Il répond aux questions que le tableau de bord ne peut pas poser : Ce robot ment-il ? S'écarte-t-il de sa trajectoire ? Fuit-il des secrets ? Et si quelque chose tourne mal, qui est réellement responsable ?

Voici comment KYA fonctionne, décomposé en cinq parties simples utilisant des analogies du quotidien :

1. Le contrôle de sécurité à quatre portes (Le « videur »)

Avant qu'un agent IA ne soit autorisé à faire quoi que ce soit de nouveau ou à modifier ses règles, il doit passer quatre portes de sécurité strictes. Imaginez cela comme un coffre-fort bancaire de haute sécurité :

Porte 1 : La personne tenant la clé a-t-elle réellement signé cette demande ? (Vérification de la signature numérique).
Porte 2 : Cette demande est-elle toujours valide ou a-t-elle expiré ? (Vérification temporelle).
Porte 3 : Cette demande rend-elle les règles plus strictes ou plus laxistes ? KYA n'autorise que les règles à devenir plus strictes (plus sûres), jamais plus laxistes. C'est comme un parent disant : « Tu peux ajouter plus de corvées, mais tu ne peux pas supprimer celles que tu as déjà. »
Porte 4 : Un humain a-t-il réellement dit « oui » ? Par défaut, un humain doit approuver le changement.

2. Le règlement « uniquement resserrement » (La « grille de sécurité »)

Imaginez que vous avez un règlement pour vos robots. L'entreprise (la plateforme) définit les règles de base. Vous (le locataire) pouvez ajouter vos propres règles plus strictes par-dessus, mais vous ne pouvez jamais supprimer les règles de sécurité de l'entreprise.
KYA utilise un système mathématique spécial pour garantir que, peu importe le nombre de personnes qui ajoutent des règles, le système ne devient jamais accidentellement moins sûr. C'est comme une pile de filets de sécurité : vous pouvez ajouter plus de filets, mais vous ne pouvez jamais en retirer un du bas.

3. KYP : « Connaître Votre Mandant » (La « carte d'identité universelle »)

Par le passé, nous avions des cartes d'identité séparées pour les humains, des scores distincts pour les robots et des journaux séparés pour les scripts automatisés. KYA les regroupe tous dans un seul système de carte d'identité.
Que l'acteur soit un employé humain, un robot IA ou un script en arrière-plan, KYA leur attribue un « score de confiance ». Si un robot commence à mal se comporter, son score baisse. Si un humain fait une erreur, son score baisse. Il traite tout le monde de la même manière, rendant facile de voir qui est digne de confiance et qui est risqué.

4. Le « multiplicateur d'interaction » (La « combinaison dangereuse »)

Parfois, une action isolée est acceptable, mais deux actions combinées sont dangereuses.

Exemple : Donner un outil d'« écriture » à un robot est risqué. Lui donner accès à des « données privées » est risqué.
Le multiplicateur : Si vous donnez à un robot à la fois un outil d'écriture et un accès aux données privées, le danger n'est pas simplement « risqué + risqué ». C'est « super dangereux ».
KYA possède une liste spéciale de ces « combinaisons dangereuses ». Lorsqu'il les détecte, il multiplie le score de risque, alertant l'opérateur humain que cette combinaison spécifique nécessite une surveillance accrue.

5. Le « jeu de la culpabilité » (La « responsabilité de l'orchestrateur »)

Il s'agit de l'une des fonctionnalités les plus importantes. Imaginez qu'un « Robot Gestionnaire » embauche trois « Robots Ouvriers » pour effectuer une tâche. Si un Robot Ouvrier se rebelle et vole des données, qui est puni ?

Ancienne méthode : Le Robot Ouvrier est blâmé. Le Robot Gestionnaire s'en sort indemne.
Méthode KYA : Le Robot Gestionnaire est blâmé.
KYA suppose que si vous embauchez un travailleur risqué, vous êtes responsable de ce qu'il fait. Si un sous-agent se comporte mal, le système déduit immédiatement des points du score de confiance du Gestionnaire. Cela empêche les gestionnaires de se cacher derrière des « sous-agents propres » pour effectuer des tâches sales.

Comment il gère les preuves (Le « journal infalsifiable »)

À chaque fois qu'un agent fait quelque chose, KYA l'écrit dans un journal numérique. Mais ce n'est pas un simple journal ; c'est un journal cryptographiquement chaîné.

Chaque entrée est liée à la précédente par un verrou mathématique spécial (HMAC).
Si quelqu'un tente de revenir en arrière et de modifier une ancienne entrée (comme effacer une erreur), le verrou se brise et l'ensemble du journal est marqué comme « falsifié ».
Cela crée un dossier recevable devant un tribunal indiquant exactement ce qui s'est passé, qui l'a fait et quand.

Ce que l'article a réellement découvert

Les auteurs ont testé ce système avec des défis difficiles :

Vitesse : Il est incroyablement rapide. Il peut vérifier des milliers d'agents par seconde sans les ralentir.
Compatibilité : Il fonctionne avec plus de 15 types différents de cadres d'IA (comme LangChain, CrewAI, etc.). Peu importe le logiciel que vous utilisez ; KYA s'adapte par-dessus.
Tests de piratage : L'équipe a engagé des pirates du « red team » pour tenter de tromper les agents. KYA a intercepté 89 % des attaques, y compris un nouveau type d'attaque très astucieux où les pirates utilisent une chaîne de robots pour dissimuler leurs traces.
Scénarios réels : Ils l'ont testé sur un système de prêt bancaire simulé et un système de triage hospitalier. Dans les deux cas, il a identifié avec succès les agents à risque et a tracé les comportements répréhensibles jusqu'à la bonne personne (ou le bon robot).

La conclusion

KYA est un outil open source (gratuit à utiliser) qui se situe entre vos agents IA et le monde réel. Il ne vous dit pas seulement si l'IA fonctionne ; il vous dit si l'IA est sûre, honnête et responsable. Il garantit que si une IA fait une erreur, nous savons exactement qui tenir pour responsable, et nous disposons d'un dossier infalsifiable pour le prouver.

Résumé technique : KYA (Know Your Agents)

Énoncé du problème

Les plateformes d'observabilité actuelles pour les agents autonomes (par exemple, LangSmith, Langfuse) suivent efficacement des métriques opérationnelles telles que la latence, les coûts et les taux d'erreur. Cependant, elles ne disposent pas de la capacité de traiter l'identité de l'agent, la provenance probatoire et les contrats de comportement exécutoires. Plus précisément, les outils existants ne produisent pas d'artefacts de gouvernance liés à l'identité de l'agent, vérifiables cryptographiquement et attestables par des tiers. Cette lacune empêche les opérateurs de déterminer de manière définitive si un agent dérive, fuite des données ou agit de manière rogue, ni de fournir les pistes d'audit cryptographiques requises par les réglementations émergentes telles que la loi européenne sur l'IA, le cadre de gestion des risques de l'IA du NIST et l'ISO 42001.

Méthodologie

KYA (Know Your Agents) est une couche de confiance et de gouvernance open source, agnostique des frameworks, conçue pour fonctionner parallèlement aux outils d'observabilité plutôt que de les remplacer. Elle opère comme une pile coordonnée de quatre éléments :

SDK de base (veldt-kya) : Une bibliothèque Python pure gérant le score de confiance, les chaînes de preuves et la composition des politiques.
Crochets de framework (kya_hooks) : Intégrations en processus pour plus de 15 frameworks d'agents (par exemple, LangChain, CrewAI, OpenAI Agents) qui émettent des événements canoniques.
Pont de télémétrie (kya_otlp_bridge) : Un sidecar qui ingère les spans OpenTelemetry et les mappe sur les signaux KYA.
Module Red Team (kya_redteam) : Un outil hors bande pour le sondage adversarial utilisant PyRIT et Garak.

Le système repose sur cinq primitives fondamentales pour combler l'écart entre la télémétrie et la gouvernance :

1. Pipeline d'application entrant à quatre portes

Pour gérer les mises à jour de politiques et les recommandations fédérées, KYA emploie un pipeline strict à quatre portes :

Porte 1 : Vérification de la signature Ed25519 avec ancrage multi-ancres.
Porte 2 : Vérification de l'expiration au moment de la persistance (prévention des attaques par rejeu).
Porte 3 : Composition « Only-tighten » (les politiques peuvent restreindre mais jamais assouplir les valeurs par défaut de la plateforme).
Porte 4 : Approbation de l'opérateur comme état par défaut ; l'application automatique est restreinte à des listes d'autorisation spécifiques.

2. Algèbre de composition Only-Tighten

KYA introduit une algèbre formelle pour la composition hiérarchique des politiques sur trois canaux : les valeurs par défaut de la plateforme, les remplacements locataires et les recommandations externes signées. Ce système impose un calcul de raffinement où les remplacements locataires ne peuvent que restreindre (resserrer) les poids de la plateforme, jamais les assouplir. Cette propriété est formellement prouvée comme valide (Lemme 1) et empêche les collecteurs compromis ou les recommandations externes d'affaiblir la posture de sécurité d'un locataire.

3. Taxonomie unifiée de confiance KYP (Know Your Principal)

KYA unifie le score de confiance à travers trois types de principaux — utilisateurs humains, agents IA et comptes de service — dans une seule table au niveau du schéma (kya_principal_trust). Contrairement aux systèmes antérieurs qui notent les agents isolément ou s'appuient sur des fournisseurs d'identité séparés, KYP utilise un mécanisme de notation partagé avec un discriminateur à ensemble fermé. Cela permet un suivi cohérent de la confiance et une agrégation de signaux à travers tout l'écosystème des acteurs.

4. Amplification auditable par multiplicateur d'interaction

S'appuyant sur une base additive en forme d'AIVSS, KYA introduit un registre auditable de multiplicateurs d'interaction. Il s'agit d'amplifications bornées et asymétriques (multiplicateurs $\ge$ 1,0 uniquement) déclenchées par des interactions spécifiques par paires (par exemple, « exécution de code avec saisie utilisateur » ou « rédacteur autonome en production »). Chaque interaction porte un code d'audit stable, permettant aux auditeurs de retracer exactement pourquoi un score de risque a été amplifié. Cela répond aux risques cumulatifs que les modèles additifs linéaires ignorent.

5. Attribution de délégation à deux axes

KYA traite le motif d'attaque « orchestrateur propre » (où un sous-agent compromis influence un orchestrateur propre) via deux axes :

Axe statique : Une prime de confiance de délégation qui pénalise les orchestrateurs pour la délégation à des sous-agents risqués basée sur la configuration.
Axe dynamique : Un mécanisme de débit en temps réel utilisant une convention actor_agent_key. Lorsqu'un sous-agent émet un signal rogue, le signal est étiqueté avec la clé de l'orchestrateur, débitant le compteur de confiance du principal de l'orchestrateur en temps réel. Cela empêche l'évasion d'attribution où les sous-agents cachent la partie responsable en amont.

Résultats clés

L'article évalue KYA sur quatre backends de stockage (PostgreSQL, SQLite, DuckDB, MySQL) et plus de 15 frameworks d'agents :

Correction : Toutes les 36 cellules d'une matrice de bout en bout 4 backends × 9 phases ont réussi.
Performance : Le notateur de fonction pure s'exécute en temps sub-millisecondaire (p99 < 1 ms). Le système maintient environ 1 800 opérations par seconde avec 20 travailleurs concurrents tout en préservant l'intégrité de la chaîne HMAC.
Détection adversarial : Dans une campagne de red team utilisant 1 200 sondes de PyRIT et Garak, KYA a bloqué ou signalé 89 % des attaques.
Attribution d'attaque : Le système a détecté et attribué avec succès l'« attaque multi-agents guidée par la topologie » (Liang et al.) au principal orchestrateur, une capacité absente des couches de gouvernance antérieures.
Conformité : Le système génère des artefacts lisibles par les régulateurs pour 32 régimes réglementaires, y compris le RGPD, HIPAA, NYDFS et la loi européenne sur l'IA.

Importance et revendications

Les auteurs positionnent KYA comme une contribution systémique plutôt qu'une construction cryptographique novatrice. Son importance réside dans la discipline de composition et les primitives d'ingénierie spécifiques qui rendent la gouvernance déployable dans des environnements réglementés et multi-locataires.

Nouveauté : L'article revendique la nouveauté de la composition hiérarchique à trois canaux (plateforme/locataire/externe) avec une preuve formelle de validité, du registre de multiplicateur d'interaction avec des codes d'audit stables, et du débit d'orchestrateur en temps réel pour les comportements erronés des sous-agents.
Modestie : Les auteurs déclarent explicitement que les poids de notation sont heuristiques et dérivés du jugement d'experts, et non d'un étalonnage de vérité terrain. Ils reconnaissent que le système ne résout pas le problème de l'arrêt pour la vérification de la sécurité et que le taux de non-détection de 11 % sur les injections de prompts multi-tours sophistiqués reflète les limites structurelles des filtres externes.
Ouverture : Le système est publié sous licence Apache 2.0, tous les facteurs de notation, poids et artefacts de chaîne de preuves étant auditable et ajustables par les opérateurs.

En résumé, KYA fournit la couche manquante de provenance vérifiable cryptographiquement et de contrats de comportement exécutoires pour les systèmes autonomes, permettant aux opérateurs de répondre à des questions de responsabilité (« était-ce faux ? qui est responsable ? ») plutôt qu'à des questions purement opérationnelles (« combien de temps cela a-t-il pris ? »).