🤖 AI

Adversarially Robust Abductive Fusion of Pre-trained Transformer-based Perception Models

Cet article propose un cadre de fusion neurosymbolique sans connaissance métier qui exploite des pools de vecteurs d'étiquettes et l'abduction basée sur la cohérence pour combiner de manière robuste des détecteurs ViT pré-entraînés, atteignant une performance supérieure aux bases de référence par vote majoritaire sous des changements de distribution et des attaques adverses coordonnées.

Auteurs originaux : Mario Leiva, Yue Ma, Qinru Qiu, Gerardo Simari, Paulo Shakarian

Publié 2026-08-06

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mario Leiva, Yue Ma, Qinru Qiu, Gerardo Simari, Paulo Shakarian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez le capitaine d'un vaisseau spatial naviguant à travers une galaxie tempétueuse. Vous avez un équipage de six capteurs experts, chacun formé pour repérer des points de repère spécifiques comme des rochers, des vaisseaux ou des stations spatiales. Mais voici le hic : vos capteurs ont tous été entraînés dans un système solaire calme et ensoleillé. Vous volez actuellement à travers une nébuleuse chaotique remplie de brouillard étrange, de poussière tourbillonnante et d'éclairages bizarres. Vos capteurs sont confus. Ils commencent à crier des rapports contradictoires : « C'est un rocher ! » « Non, c'est un vaisseau ! » « En fait, c'est un ours de l'espace géant ! »

C'est le problème réel auquel les scientifiques sont confrontés avec l'Intelligence Artificielle. Nous avons construit des programmes informatiques incroyablement intelligents (appelés « modèles de perception ») qui peuvent identifier des choses sur des photos, comme des voitures ou des personnes. Mais ces programmes sont comme nos capteurs spatiaux : ils sont experts dans ce qu'ils ont déjà vu, mais ils se laissent facilement dérouter lorsque le monde change. Si vous prenez une voiture autonome entraînée sur les routes ensoleillées de Californie et que vous la conduisez dans un blizzard au Minnesota, elle pourrait commencer à voir des flocons de neige comme des piétons ou cesser de fonctionner entièrement.

Pour corriger cela, les ingénieurs essaient généralement de faire travailler plusieurs modèles d'IA ensemble, comme un comité. La façon la plus courante de prendre une décision de comité est le Vote Majoritaire : si trois modèles sur six disent « C'est une voiture », le système décide que c'est une voiture. Cela semble équitable, n'est-ce pas ? Mais il y a une faille majeure. Si un pirate rusé (ou simplement une tempête très mauvaise) trompe quelques modèles pour qu'ils s'accordent sur la mauvaise réponse, tout le comité est dupé. C'est comme si trois amis dans un groupe de discussion décidaient de vous faire une farce en disant que le ciel est vert ; si vous suivez simplement la majorité, vous croirez que le ciel est vert.

Ce document présente une façon plus intelligente de diriger ce comité. Au lieu de simplement compter les voix, le nouveau système agit comme un détective qui vérifie la cohérence logique. Il demande : « Est-ce que cette histoire est logique ? » Si un modèle dit « C'est une voiture » et qu'un autre dit « C'est un nuage », le système ne se contente pas de compter les têtes ; il examine les preuves pour voir quel récit tient la route sans contradictions. Les auteurs montrent que cette méthode est beaucoup plus difficile à tromper et fonctionne mieux lorsque l'environnement est totalement nouveau.

Le nouvel arsenal du détective : Apprendre sans guide de référence

Les chercheurs, Mario Leiva et son équipe, voulaient résoudre deux grands problèmes. Premièrement, les méthodes précédentes avaient besoin d'un « guide de référence » de la connaissance humaine pour repérer les erreurs. Par exemple, un humain pourrait dire à l'ordinateur : « Les piétons sont généralement sur le trottoir, pas dans le ciel » ou « Les voitures sont plus grandes que ceci ». Mais que se passe-t-il si vous êtes dans un environnement totalement nouveau où vous ne connaissez pas les règles ? Vous ne pouvez pas écrire un guide de référence pour un endroit que vous n'avez jamais vu.

Deuxièmement, ils voulaient empêcher le « Vote Majoritaire » d'être facilement piraté.

La Solution : Le « Pool de Vecteurs d'Étiquettes »
Pour résoudre le premier problème, l'équipe a inventé une façon pour l'IA d'apprendre son propre guide de référence sans aucune aide humaine. Ils ont utilisé une astuce ingénieuse impliquant la « mémoire » de chaque modèle d'IA.

Imaginez que chaque modèle d'IA possède une bibliothèque mentale de chaque objet qu'il a vu durant son entraînement. Lorsqu'il voit une « voiture », il ne stocke pas seulement le mot « voiture » ; il stocke une empreinte digitale mathématique unique (un embedding) de ce à quoi ressemblait cette voiture. Les chercheurs ont rassemblé toutes ces empreintes digitales pour chaque type d'objet et les ont regroupées en petits clusters appelés Pools de Vecteurs d'Étiquettes.

Voyez cela comme un « anneau d'humeur » pour les objets. Si un modèle voit un nouvel objet, il vérifie : « L'empreinte de cet objet ressemble-t-elle à l'anneau d'humeur 'voiture', ou ressemble-t-elle à l'anneau d'humeur 'arbre' ? » Si l'objet est censé être une voiture mais que son empreinte est très éloignée — comme une voiture qui ressemble à un nuage — le système le signale comme suspect. Cela se produit automatiquement, en utilisant uniquement les mathématiques à l'intérieur du modèle, sans avoir besoin de règles humaines sur les trottoirs ou les tailles.

La Solution : Le « Détective de la Cohérence »
Une fois que le système sait quelles prédictions sont suspectes, il ne se contente pas de les jeter. Au lieu de cela, il utilise une méthode appelée Raisonnement Abductif. C'est une façon sophistiquée de dire « inférence à la meilleure explication ».

Imaginez que vous êtes un détective essayant de résoudre un mystère avec six témoins.

Le Vote Majoritaire demanderait simplement : « Qui est d'accord avec le plus de gens ? » Si trois témoins disent « Le majordome l'a fait », le détective arrête le majordome.
Ce Nouveau Système demande : « Qui raconte une histoire qui ne contredit pas les autres ? »

Si trois témoins disent « Le majordome l'a fait », mais qu'un témoin dit « Le majordome était dans la cuisine à ce moment-là » et qu'un autre dit « Le majordome est allergique à l'arme », le système réalise que l'histoire du « majordome l'a fait » comporte des failles. Il peut décider de faire confiance aux témoins qui sont cohérents entre eux, même s'ils sont minoritaires. Il construit un puzzle logique où chaque pièce doit s'emboîter parfaitement. Si une pièce (une prédiction) fait s'effondrer l'image entière, elle est rejetée, même si beaucoup de personnes ont voté pour elle.

Le Grand Test : Tempêtes et Hackers Sournois

L'équipe a testé cette idée sur un défi difficile : des images aériennes d'une ville sous 15 conditions météorologiques différentes, de la pluie battante aux tempêtes de poussière. Ils ont utilisé six modèles d'IA différents, chacun entraîné sur un seul type de météo. Lorsqu'ils les ont tous mélangés, la météo était un chaos.

Le Résultat sur les Données Propres
D'abord, ils ont testé le système dans des conditions normales, non piratées. Ils ont constaté que leur nouveau « Détective de la Cohérence » performait aussi bien que les meilleures équipes de « Vote Majoritaire ». Il n'a perdu aucune précision ; il était aussi efficace pour repérer les voitures et les personnes que les anciennes méthodes.

Le Test d'Attaque
Ensuite, ils ont fait venir les méchants. Ils ont simulé une attaque coordonnée. Imaginez un hacker qui ne peut pas briser les modèles d'IA individuellement, mais qui peut tromper un petit groupe d'entre eux pour qu'ils crient tous la même mauvaise réponse en même temps.

L'Équipe du Vote Majoritaire : Lorsque le hacker a fait en sorte que 90 % des objets reçoivent une étiquette « inversée » (une étiquette erronée imposée par l'attaque), le système de Vote Majoritaire s'est effondré. Sa précision est tombée à 0,35 en moyenne sur l'ensemble des tests. Il a été totalement dupé car les hackers n'avaient qu'à contrôler quelques modèles pour faire basculer la majorité.
Le Détective de la Cohérence : Le nouveau système n'a pas bougé autant. Même avec la même attaque de 90 %, il a maintenu une précision moyenne de 0,42 sur les 15 ensembles de tests. Cela peut ne pas sembler être une énorme différence, mais dans le monde de l'IA, c'est une amélioration de 22 % par rapport à l'ancienne méthode.

La raison ? Les hackers ont essayé de forcer une majorité, mais le Détective de la Cohérence a regardé la logique. Si les hackers ont forcé trois modèles à dire « C'est un nuage », mais que les trois autres modèles (et la logique interne du système) disaient « Cela n'a pas de sens », le détective a ignoré les hackers. Il a fait confiance à l'histoire qui avait du sens, et non au nombre de voix.

Pourquoi cela importe

Ce document montre que vous n'avez pas besoin d'être un expert humain pour construire un filet de sécurité pour l'IA. En laissant l'IA apprendre ses propres règles d'« empreinte digitale » et en vérifiant si les histoires qu'elle entend sont logiquement cohérentes, vous pouvez construire un système qui est :

Portable : Il fonctionne dans de nouveaux environnements étranges sans avoir besoin d'un manuel.
Robuste : Il ne peut pas être facilement trompé par des hackers qui tentent de truquer le vote.

Les chercheurs ont effectué ces tests sur un serveur informatique standard, et le système était assez rapide pour être pratique. Le « Détective de la Cohérence » (spécifiquement leur méthode « IP+TB ») a pris un peu plus de temps pour résoudre le puzzle que le simple compteur de votes, mais il était tout de même assez rapide pour être utilisé en temps réel.

En fin de compte, ce document suggère que lorsque nous envoyons l'IA dans l'inconnu — que ce soit dans une zone de catastrophe, sur une planète lointaine ou dans une ville attaquée — nous ne devrions pas seulement écouter la voix la plus forte. Nous devrions écouter la voix qui a le plus de sens.

Résumé Technique : Fusion Abductive Adversarialement Robuste de Modèles de Perception Basés sur des Transformers Pré-entraînés

Énoncé du Problème

Le déploiement de modèles de perception pré-entraînés (spécifiquement les Vision Transformers) dans des environaux nouveaux — tels que des zones de catastrophe ou des régions reculées sans données d'entraînement représentatives — entraîne une dégradation significative de la précision due aux décalages de distribution. Bien que l'assemblage de plusieurs modèles soit une stratégie courque, les combinaisons simples comme le vote majoritaire (MV) sont fragiles : elles sacrifient le rappel au profit de la précision et sont hautement sensibles aux défaillances coordonnées où un adversaire manipule une minorité de modèles pour inverser le vote collectif.

Les approches métacognitives antérieures tentent d'atténuer cela en apprenant des règles logiques pour signaler les erreurs. Cependant, ces méthodes reposent sur des connaissances de domaine rédigées à la main (ex: priors de taille d'objet, masques de segmentation) qui ne se transfèrent pas à des scènes véritablement nouvelles. De plus, les travaux précédents n'ont pas traité de manière adéquate les scénarios où les modèles perceptuels sont soumis à des perturbations adverses conçues pour vaincre les ensembles basés sur le vote.

Méthodologie

Le cadre proposé répond à ces limites en formulant la fusion de détecteurs imparfaits comme un problème d'abduction basé sur la cohérence résolu au moment du test. Le système opère en deux phases distinctes :

1. Entraînement Hors-ligne : Couche Métacognitive Sans Connaissance de Domaine

Au lieu de s'appuyer sur des prédicats de domaine façonnés à la main, les auteurs apprennent un signal de détection d'erreur en utilisant uniquement les plongements (embeddings) internes de chaque modèle pré-entraîné.

Pools de Vecteurs d'Étiquettes (LVP) : Pour chaque modèle $f_i$ et classe $c$ , le système regroupe les plongements de détection d'entraînement du modèle (via k-means, $k=3$ ) pour créer un pool de vecteurs prototypes $\{ \mu_{i,c}^1, \mu_{i,c}^2, \mu_{i,c}^3 \}$ .
Détecteur d'Erreur : Pour une nouvelle détection avec un plongement $e$ , le système calcule les distances euclidiennes par rapport à tous les prototypes du pool, formant un vecteur de caractéristiques $\phi(e)$ . Un classificateur Random Forest, entraîné par (modèle, classe), fait correspondre ces distances à une probabilité d'erreur $s_{i,c}(e)$ .
Apprentissage de Règles : Ces probabilités sont soumises à un seuillage pour générer des Règles de Détection d'Erreur (EDR). Une règle s'active si la probabilité d'erreur dépasse un seuil appris $\tau$ , lequel est contrôlé par un hyperparamètre de stricte $\epsilon$ . Cette couche ne nécessite aucune trace de scène externe (masques, priors) et est transférable à tout nouveau modèle ou scène.

2. Inférence En Ligne : Abduction Basée sur la Cohérence

Au moment du test, $\eta$ modèles perçoivent une scène nouvelle. Leurs prédictions, combinées avec les programmes EDR par modèle, forment un programme logique $\Pi$ .

Formulation Logique : Le système cherche un sous-ensemble de prédictions acceptées $H$ $H$ qui maximise la couverture (rappel) tout en minimant l'incohérence logique.
- Contraintes d'Intégrité : La seule connaissance de domaine utilisée est l'exclusivité mutuelle des étiquettes de classe (un objet ne peut pas avoir deux classes différentes).
- Objectif : Maximiser $Pred(H)$ (le nombre d'assignations acceptées) sous la contrainte $Inc(H) \le \delta$ , où $Inc(H)$ est le compte normalisé des contraintes d'intégrité violées.
Solveurs : Le problème est résolu via :
- Programme Entier Exact (IP) : Résout l'optimisation de manière globale.
- Recherche Heuristique (HS) : Un algorithme glouton de complexité polynomiale qui sélectionne itérativement la meilleure paire (modèle, classe) à accepter en fonction du gain de couverture versus le budget d'incohérence.
- Tie-Breaker (TB) : Une étape optionnelle pour résoudre les étiquettes ambiguës en sélectionnant la prédiction ayant la plus haute confiance.

Principales Contributions

Métacognition Sans Connaissance de Domaine : L'article démontre que les règles de détection d'erreur peuvent être apprises entièrement à partir de la géométrie des plongements d'entraînement du modèle lui-même (via LVP). Cela élimine le besoin de indices rédigés à la main, rendant le système portable à de nouveaux environnements où les masques de segmentation ou les priors de taille sont indisponibles. L'approche LVP atteint la parité avec les bases de référence de connaissance de domaine (à 0,002 F1 près) sans utiliser de connaissance de domaine.
Robustesse aux Attaques Coordonnées : En passant du comptage de votes (vote majoritaire) à l'acceptation basée sur la cohérence, le cadre est intrinsèquement plus robuste aux attaques de renversement de labels coordonnées. Alors que le vote majoritaire échoue lorsque une minorité de modèles est forcée de s'accorder sur une mauvaise étiquette, l'approche abductive n'accepte les prédictions que si elles sont cohérentes avec les contraintes logiques et les sorties des autres modèles.
Fusion Abductive Scalable : Les auteurs fournissent à la fois une formulation IP exacte et une recherche heuristique (HS) de complexité polynomiale pour résoudre le problème d'abduction, démontant que la fusion pilotée par la cohérence est informatiquement réalisable pour des scénarios de détection du monde réel.

Résultats Expérimentaux

Le cadre a été évalué sur le jeu de données MDS-A (Multiple Distribution Shift – Aerial), comprenant 15 ensembles de test avec décalage météorologique et six détecteurs basés sur ViT, ainsi qu'un jeu de données multimodal VisDrone-DroneVehicle (RGB + IR).

Performance sur Données Saines : Sur des données non attaquées, les méthodes proposées (IP+TB et HS+TB) sont statistiquement au même niveau que la base de référence la plus forte de vote majoritaire (MV-Pluralité), atteignant des scores F1 comparables (à 0,005 F1 près) tout en surpassant les bases de référence à modèle unique.
Robustesse Adversaire : Sous une attaque de renversement de label coordonnée (où un adversaire force un sous-ensemble de modèles à s'accorder sur une mauvaise étiquette) :
- Le vote majoritaire se dégrade significativement à mesure que le taux de renversement ( $p$ ) augmente.
- L'approche abductive se dégrade avec grâce. À un taux de renversement de 90 %, la méthode proposée atteint un F1 moyen de 0,42, contre 0,35 pour MV-Pluralité (un gain relatif de 22 %).
- Une fois que le taux de renversement dépasse 0,4, la méthode proposée obtient le F1 le plus élevé sur chaque ensemble de test.
Temps d'Exécution : La variante de Recherche Heuristique (HS) traite les scénarios en 1,9–19,7 secondes avec un temps de résolution par objet de 1,4–3,0 ms, ce qui la rend adaptée aux budgets de latence serrés. L'IP exacte est plus lente mais reste pratique pour des applications hors-ligne ou moins critiques en temps.

Signification et Revendications

L'article affirme que la couche métacognitive d'un système de perception multi-modèles peut être apprise efficacement sans connaissance de domaine, en s'appuyant uniquement sur les propriétés géométriques des plongements d'entraînement. En formulant l'intégration des modèles comme un problème d'abduction basé sur la cohérence, les auteurs démontrent un combineur qui est :

Compétitif sur les données saines : Égalant les performances des méthodes d'ensemble standards sans dépendre du vote.
Résilient à la coordination adversaire : Maintenant ses performances sous des attaques qui ciblent spécifiquement les hypothèses d'indépendance du vote majoritaire.

Les auteurs soulignent que cette approche permet au même mécanisme d'abduction de se transférer à travers les domaines sans ré-ingénierie des règles de détection d'erreur, car les règles sont dérivées des propres représentations internes des modèles plutôt que des sémantiques de scène externes. Bien que les LVP et les règles de connaissance de domaine (DK) capturent différents types d'erreurs (anomalies d'embedding vs erreurs géométriques/contextuelles), l'article note que la combinaison des deux n'a pas produit d'amélioration significative du F1 dans leurs expériences, bien que cela reste une direction pour des travaux futurs.