Résumé Technique : Forêt d'Agents Juge (Judge Agent Forest - JAF)

1. Énoncé du Problème

Les frameworks d'IA agentiques actuels s'appuient sur des agents juges pour évaluer les sorties, appliquer des garde-fous et permettre l'auto-raffinement itératif. Cependant, les implémentations standards fonctionnent de manière locale à l'instance : un juge évalue une paire requête-réponse $(Q_i, R_i)$ de manière isolée, utilisant potentiellement des exemples contextuels statiques qui ne reflètent pas le contexte spécifique de la charge de travail actuelle.

Cette isolation ne parvient pas à capturer les dépendances inter-instances et les schémas émergents au niveau de la cohorte. Dans des domaines complexes comme le triage des vulnérabilités cloud, le risque lié à un problème spécifique dépend souvent de sa relation avec d'autres problèmes au sein d'un même locataire ou compte (par exemple, des configurations erronées partagées, une topologie réseau ou des rôles logiciels récurrents). Les juges locaux à l'instance ne peuvent pas exploiter systématiquement ces régularités, imposer la cohérence entre des actifs similaires, ou propager des informations (telles qu'une mauvaise configuration découverte) vers des tickets liés. De plus, les méthodes standard pour améliorer le raisonnement — comme l'auto-raffinement itératif sur une seule instance ou l'exploration par chaînes de pensée multiples (multi-CoT) — entraînent souvent une duplication des coûts de calcul et ne parviennent pas à tirer parti de la diversité du raisonnement déjà présente dans une charge de travail.

2. Méthodologie : Forêt d'Agents Juge (JAF)

JAF introduit un changement de paradigme où l'agent juge réalise une inférence conjointe sur une cohorte de paires requête-réponse logiquement liées (par exemple, tous les couples vulnérabilité-actif pour un locataire ou une fenêtre temporelle spécifique), plutôt que de les évaluer de manière isolée.

Mécanisme Central

• Raisonnement au Niveau de la Cohorte : Au lieu d'un contexte statique, le prompt du juge pour une instance focale $(Q_i, R_i)$ inclut un petit ensemble de exemplaires pairs $(Q_j, R_j)$ sélectionnés dynamiquement au sein de la même cohorte.
• Induction de Graphe de Connaissances : Ces voisinages chevauchants induisent un graphe de connaissances dynamique au niveau de la cohorte, où les nœuds sont des instances et les arêtes représentent la cooccurrence dans le prompt d'un juge. L'information et la critique se propagent le long de ces arêtes, de manière analogue à la propagation de croyance ou à la propagation de labels dans l'apprentissage semi-supervisé basé sur les graphes.
• Comportement d'Ensemble : En échantillonnant aléatoirement différents voisinages pour chaque invocation du juge (ou à travers des cycles de raffinement itératifs), JAF crée un effet d'ensemble. Chaque instance est évaluée sous des contextes divers et localement cohérents, permettant au système de détecter les incohérences et de stabiliser les jugements sans modifier l'architecture de l'LLM sous-jacent.

Construction du Voisinage : Hachage Sensible à la Localité (LSH)

Pour sélectionner efficacement des pairs pertinents parmi de larges cohortes hétérogènes, JAF emploie un cadre de Hachage Sensible à la Localité (LSH) flexible qui va au-delà des simples k-plus proches voisins (kNN) basés sur les plongements (embeddings).

• Prédicats de Hachage Appris : JAF apprend des codes de hachage binaires en intégrant des plongements sémantiques, des étiquettes catégorielles, des métadonnées de domaine et des prédicats définis par l'LLM.
• Objectifs Information-Théoriques : Les fonctions de hachage sont optimisées pour maximiser l'information mutuelle avec les informations secondaires (labels/métadonnées) tout en minimisant la redondance (corrélation totale) entre les bits. Cela garantit que les codes sont informatifs, décorrélés et interprétables.
• Structure Hiérarchique : Le schéma de hachage crée un partitionnement multi-échelle de la cohorte. Des compartiments grossiers capturent les similitudes sémantiques larges (ex: type d'actif), tandis que des divisions plus fines capturent les nuances spécifiques aux tâches (ex: configurations erronées spécifiques).
• Détection d'OOD et d'Anomalies : Le framework inclut des mécanismes pour détecter les schémas hors distribution (OOD) ou les anomalies rares au sein des compartiments, en leur assignant des bits de hachage dédiés pour garantir qu'ils soient examinés ensemble.
• Prédicats Guidés par l'LLM : Les LLM peuvent proposer des divisions binaires sémantiques (ex: "exposé à l'extérieur" vs "interne uniquement") ou identifier des sous-ensembles de référence pour la détection d'OOD, qui sont ensuite validés via un clustering basé sur la divergence.

Intégration avec les Stratégies de Raisonnement

• Auto-Raffinement Itératif : JAF étend l'auto-raffinement au niveau de la cohorte. À mesure que le juge critique et raffine les réponses, les corrections se propagent à travers le graphe de connaissances. Les instances qui se stabilisent ("gelées") fournissent des exemplaires de haute qualité pour affiner les cas plus difficiles.
• Exploration de CoT : JAF traite les chemins de raisonnement (CoT) comme des objets de premier rang. En hachant les CoT, le système peut partager des modèles de raisonnement réussis entre différentes instances, amortissant ainsi le coût de l'exploration de divers chemins de raisonnement.
• Évaluation Probabiliste : En exécutant plusieurs évaluations randomisées sur des réponses raffinées fixes, JAF génère une probabilité d'acceptation empirique ($\hat{p}_i$). Cela sert de métrique de stabilité, signalant les décisions fragiles qui sont sensibles aux variations de contexte pour une revue humaine.
• Exploration Guidée par RL (Futur) : La structure de hachage fournit un espace d'état pour l'apprentissage par renforcement (RL) afin d'allouer de manière adaptative le calcul au moment de l'inférence (test-time compute), en dirigeant plus de ressources vers les compartiments de hachage sous-explorés ou historiquement sujets à des erreurs.

3. Contributions Clés

1. Framework d'Inférence Conjointe : Propose JAF, un framework qui élève le juge du statut d'évaluateur local à celui d'apprenant holistique en permettant l'inférence conjointe sur des paires requête-réponse liées.
2. Sélection de Voisinage Basée sur LSH : Développe un nouvel algorithme LSH information-théorique qui apprend des codes binaires informatifs, interprétables et conscients des relations pour sélectionner des exemplaires diversifiés, dépassant les limites de la géométrie pure des plongements.
3. Unification des Techniques : Démontre comment JAF unifie l'auto-raffinement itératif, l'exploration multi-CoT et l'apprentissage d'ensemble en un mécanisme unique conscient de la cohorte, implémentant efficacement la propagation de croyance et les principes de forêt aléatoire via l'apprentissage en contexte.
4. Métriques de Stabilité Probabilistes : Introduit une méthode pour estimer la confiance de décision via l'échantillonnage de voisinage randomisé, fournissant un signal robuste pour identifier les cas instables ou ambigus.

4. Résultats Expérimentaux

Les auteurs valident JAF sur la tâche exigeante du triage de mauvaises configurations cloud, un domaine nécessitant la synthèse des rôles logiciels, de l'exposition réseau et des politiques IAM.

• Configuration : Une cohorte de 315 actifs présentant des mauvaises configurations a été traitée par un agent primaire (Llama3.3-Nemotron-Super-49B-v1.5). Le baseline utilisait un auto-raffinement itératif isolé ; JAF utilisait un raffinement conscient de la cohorte avec un échantillonnage de voisinage simple basé sur des objectifs (sans embeddings ni LSH dans cette étude initiale).
• Métriques : L'évaluation a utilisé un juge probabiliste pour mesurer la probabilité de correction empirique ($\hat{p}_i$) des réponses finales sous divers contextes de pairs.
• Résultats :
  • Précision et Stabilité Supérieures : Après seulement 5 itérations de raffinement, JAF a significativement déplacé la distribution des probabilités de correction vers des valeurs plus élevées (la moyenne de $\hat{p}_i$ a augmenté, la variance a diminué) par rapport au baseline.
  • Convergence Plus Rapide : JAF a obtenu des résultats de haute qualité en 5 itérations que le baseline n'a pas pu atteindre même après 10 itérations.
  • Robustesse : Les analyses basées sur JAF étaient moins sensibles aux pairs spécifiques vus en contexte, indiquant un raisonnement sous-jacent plus solide.
  • Identification des Cas Difficiles : Les deux méthodes ont identifié une traîne de cas à faible confiance, mais JAF a systématiquement réduit le nombre de ces instances fragiles, mettant naturellement en évidence les problèmes les plus difficiles pour la revue humaine.

5. Signification et Revendications

Le papier affirme que JAF représente un changement fondamental dans la manière dont les systèmes agentiques gèrent l'évaluation et le raffinement. En plaçant l'inférence conjointe au niveau de la couche de juge, JAF maintient la modularité des agents tout en favorisant le flux d'informations entre les entrées.

• Scalabilité : Le framework est conçu pour gérer de larges cohortes hétérogènes (des centaines ou milliers de cas à long contexte) là où les approches locales à l'instance échouent à capturer les dépendances.
• Applicabilité Générale : Bien que motivé par la sécurité cloud, les auteurs affirment que JAF est largement applicable à tout domaine nécessitant un raffinement cohérent et conscient du contexte de larges cohortes de décisions de modèles.
• Revendications Modestes : Les auteurs soulignent que même une instanciation "naïve" de JAF (sans LSH sophistiqué ou embeddings) produit des améliorations substantielles. Ils positionnent la machinerie LSH et l'intégration RL comme des travaux futurs pour optimiser davantage les performances, plutôt que comme des prérequis aux bénéfices fondamentaux du framework. Le papier ne prétend pas remplacer le réglage fin supervisé (SFT) mais suggère que JAF peut agir comme un pré-conditionneur pour produire des pseudo-labels de plus haute qualité pour le SFT.

En résumé, JAF fait le pont entre la propagation de croyance et les principes d'apprentissage d'ensemble pour créer une couche d'évaluation robuste et sensible au contexte qui permet aux systèmes agentiques d'apprendre du comportement collectif d'une cohorte, plutôt que de simples instances individuelles.