🤖 AI

Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

Ce document propose et valide un cadre d'évaluation sans étiquetage pour les harnais d'apprentissage continu agentiques en cybersécurité, démontrant que la mesure de la convergence d'un modèle étudiant vers un modèle enseignant plus fort via des corrections éparses sert de substitut fiable à l'amélioration réelle des performances lorsque les référentiels étiquetés sont indisponibles.

Auteurs originaux : Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Publié 2026-08-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à repérer un mauvais e-mail. Dans le monde de l'intelligence artificielle, nous avons ces modèles de langage de grande taille (LLM) super intelligents qui peuvent lire et écrire comme des humains. Mais pour les rendre vraiment utiles pour la sécurité, ils doivent apprendre de leurs erreurs au fur et à mesure, un processus appelé « apprentissage continu ». Habituellement, pour voir si un robot apprend, on lui donne un test avec un corrigé connu (des données étiquetées). Mais dans le monde réel de la cybersécurité, les méchants changent leurs ruses chaque jour, et nous avons rarement un corrigé parfait. Nous ne recevons un retour que lorsque le robot commet une erreur énorme et flagrante. Cela laisse les équipes de sécurité dans l'impasse : elles ont un robot qui doit apprendre, mais aucun moyen de savoir si leurs nouveaux outils d'apprentissage sont réellement efficaces ou s'ils empirent les choses. Elles ont besoin d'un moyen de mesurer les progrès sans clé de référence.

Ce document s'attaque à ce problème exact. Les auteurs proposent un contournement ingénieux utilisant une configuration « Enseignant-Étudiant ». Au lieu d'attendre qu'un humain note le travail du robot, ils utilisent un modèle d'IA beaucoup plus gros et plus intelligent comme « Enseignant ». Ils laissent cet Enseignant noter le travail d'un modèle « Étudiant » plus petit. L'idée est que si l'Étudiant commence à agir davantage comme l'Enseignant intelligent après avoir utilisé un nouvel outil d'apprentissage, alors cet outil est probablement bon. Le papier suggère que cette amélioration « relative à l'Enseignant » est un signe fiable que l'outil fonctionnerait également bien avec un véritable retour humain, même en l'absence de labels humains. Cependant, les auteurs lancent également un avertissement sonore : utiliser un autre IA de la même taille pour juger le travail est une mauvaise idée. Ces juges de « même force » sont trop biaisés ; ils préfèrent leurs semblables et ne peuvent pas voir quand un étudiant s'est réellement amélioré.

L'école des robots et l'absence de clé de réponse

Plongeons dans l'histoire du « Harnais d'apprentissage ». Imaginez que vous avez un jeune apprenti robot (l'Étudiant) qui essaie d'apprendre à trier le courrier. Il est plutôt bon, mais pas parfait. Pour l'aider à s'améliorer, vous lui attachez un « Harnais d'apprentissage ». Ce n'est pas une mise à niveau magique du cerveau ; c'est plutôt comme un sac à dos rempli de post-its. Chaque fois que le robot fait une erreur, un humain (ou, dans ce cas, un robot plus intelligent) écrit une note sur un bloc de post-its expliquant pourquoi il s'est trompé et quelle est la bonne réponse. Le robot consulte ensuite ces notes lorsqu'il est confronté à un nouveau problème similaire.

Le problème est qu'나 dans le monde réel, les humains sont occupés. Ils n'écrivent ces notes que lorsque le robot commet une erreur vraiment grave qui provoque une crise. Cela signifie que le robot reçoit très peu de notes, et qu'elles arrivent de manière aléatoire. Alors, comment savoir si le sac à dos de notes aide réellement le robot à apprendre ?

Normalement, vous donneriez au robot un test avec un corrigé. Mais en cybersécurité, ce corrigé n'existe pas encore car les menaces sont nouvelles. Vous ne pouvez pas attendre un test parfait ; vous devez savoir maintenant si le système d'apprentissage fonctionne.

L L'astuce de l'Enseignant-Étudiant

Les auteurs de ce document ont trouvé une solution brillante : L'Hypothèse de la Mise à l'Échelle (Scaling Hypothesis). Pensez à cela comme à une famille de robots. Vous avez un petit robot junior (l'Étudiant) et un robot géant et senior (l'Enseignant) de la même famille. Parce que le robot senior est plus gros et a vu plus de données, il est presque toujours plus intelligent.

Voici l'expérience qu'ils ont menée :

Ils ont pris un groupe d'e-mails et ont demandé à l'Enseignant de les trier. Comme l'Enseignant est si intelligent, les auteurs ont traité les réponses de l'Enseignant comme étant la « vérité » (même s'ils n'avaient pas de clé de réponse humaine).
Ils ont donné les mêmes e-mails à l'Étudiant.
Ils ont laissé l'Étudiant faire des erreurs, puis lui ont donné quelques « post-its » (corrections) basés sur ce que l'Enseignant disait être juste.
Ils ont observé si l'Étudiant devenait meilleur pour correspondre aux réponses de l'Enseignant.

La grande question était : Le fait de devenir meilleur pour imiter l'Enseignant signifie-t-il que l'Étudiant s'améliore réellement sur la tâche réelle ?

Pour le découvrir, ils ont mené un test secret. Ils avaient quelques e-mails avec de vraies clés de réponses humaines (le « Gold Standard ») qu'ils avaient gardées cachées pendant le processus d'apprentissage. Ils ont vérifié si l'amélioration de l'Étudiant vers l'Enseignant correspondait à son amélioration vers les vraies réponses humaines.

Le Résultat : Cela a fonctionné ! Le papier a trouvé une forte connexion. Lorsque l'Étudiant apprenait à imiter l'Enseignant, il devenait également meilleur lors du test humain réel. Cela suggère que si vous utilisez une IA super intelligente pour noter votre système d'apprentissage, et que le système s'améliore, vous pouvez être confiant qu'il s'améliorerait également avec un véritable retour humain. C'est comme dire : « Si mon étudiant commence à penser comme mon professeur de génie, il est probablement en train d'apprendre quelque chose de précieux, même si je n'ai pas encore l'examen final. »

Le piège du juge de « même force »

Mais il y avait un rebondissement. Les auteurs ont également testé une autre idée que beaucoup de gens utilisent : l'IA comme juge (LLM-as-a-Judge). Il s'agit de demander à un robot de la même taille et de la même intelligence que l'Étudiant de décider quelle version est la meilleure : celle avec le sac à dos d'apprentissage ou celle sans.

Imaginez demander à deux enfants de 10 ans de juger qui est le meilleur en mathématiques. Si l'un d'eux a une clé de référence, l'autre le remarquera-t-il ? Le papier a découvert que non, ils ne le remarqueraient pas.

Lorsque les auteurs ont utilisé un juge de « même force », les résultats étaient désastreux :

Biais : Les juges choisissaient souvent la première réponse qu'ils voyaient, peu importe si elle était correcte ou non.
Préférence pour soi-même : Les juges avaient tendance à préférer les réponses du robot qui leur ressemblait (celui sans le sac à dos) et rejetaient la version améliorée.
Fiabilité : Quand le juge était dans le vrai, il ne l'était qu'environ la moitié du temps (48 % pour certains modèles, ce qui revient pratiquement à un pile ou face).

Le papier exclut explicitement l'utilisation d'une IA de même taille comme juge pour ce travail. Il suggère qu'un robot ne peut pas reconnaître de manière fiable quand un autre robot de son propre niveau s'est amélioré. C'est comme demander à une personne qui ne connaît pas la réponse de corriger un examen ; elle ne peut tout simplement pas faire la différence entre une bonne supposition et une excellente réponse.

Ce que cela signifie pour l'avenir

Les auteurs font attention à ne pas dire que c'est une solution miracle qui résoudra tout pour toujours. Ils suggèrent que cette méthode « Enseignant-Étudiant » est un moyen valide de mesurer les outils d'apprentissage lorsque l'on ne dispose pas de labels. Ils ont montré que plus l'écart d'intelligence entre l'Enseignant et l'Étudiant est grand, plus le test devient fiable. Si l'Enseignant n'est que légèrement plus intelligent, le test devient flou.

Ils soulignent également que cela fonctionne mieux lorsque les corrections sont « éparses » et de « haute précision » — c'est-à-dire que seules les erreurs les plus importantes sont corrigées, tout comme dans le monde réel.

Ainsi, la conclusion pour l'adolescent curieux est la suivante : dans un monde où nous ne pouvons pas toujours obtenir une clé de réponse parfaite, nous pouvons utiliser une IA « super intelligente » pour noter nos outils d'apprentissage. Si l'outil aide l'étudiant à agir davantage comme l'IA super intelligente, c'est probablement un bon outil. Mais ne demandez pas à l'IA moyenne de noter ses propres amis ; ils seront simplement biaisés et passeront à côté de l'amélioration. Cela donne aux équipes de sécurité un nouveau moyen de construire de meilleurs robots auto-apprenants sans avoir besoin d'une montagne de données étiquetées par des humains.

Résumé technique : Évaluation des capacités d'apprentissage agentique sans étiquettes via l'hypothèse de mise à l'échelle (Scaling Hypothesis)

1. Énoncé du problème

Dans la cybersécurité opérationnelle, les « harnais d'apprentissage continu » (systèmes couplant des modèles de langage de grande taille avec de la récupération ou de la mémoire pour s'adapter via un feedback) sont de plus en plus vitaux pour la défense contre des menaces changeant rapidement. Cependant, l'évaluation de ces harnais est notoirement difficile dans des contextions réelles en raison de la rareté, de l'obsolescence et du biais des benchmarks étiquetés.

Les méthodes d'évaluation traditionnelles échouent dans ce contexte :

Benchmarks étiquetés : Souvent indisponibles, non représentatifs ou trop parsemés pour fournir un signal clair de l'efficacité du harnais.
LLM-as-a-Judge (Le LLM comme juge) : Échoue lorsque le modèle juge possède une capacité similaire à l'agent évalué. Un juge ne peut pas identifier de manière fiable des améliorations qui dépassent sa propre performance de base.
Distillation : La distillation standard par fine-tuning ou par adaptateur est peu fiable lorsque le feedback humain est rare, sporadique et de forme irrégulière.

Par conséquent, les praticiens manquent d'une méthode rigoureuse pour déterminer si un harnais spécifique améliore la performance d'un modèle ou pour comparer différents designs de harnais sans accès à un ensemble de données de référence (« gold standard »).

2. Méthodologie

Les auteurs proposent un cadre fondé sur l'Hypothèse de mise à l'échelle (Scaling Hypothesis) pour évaluer les harnais d'apprentissage de bout en bout sans benchmarks étiquetés. La prémisse centrale est qu'un modèle « enseignant » plus fort peut fournir des corrections de haute précision et de manière parcimonieuse à un modèle « étudiant » plus faible, et que la convergence de l'étudiant vers l'enseignant sert de proxy pour une véritable amélioration.

Conception expérimentale

L'étude utilise une configuration à trois modèles pour chaque tâche :

Enseignant (Teacher) : Un modèle plus grand et plus fort d'une famille spécifique (ex: GPT-4.1, Gemini Pro) fonctionnant sans harnais.
Étudiant (Student) : Un modèle plus petit et plus faible de la même famille (ex: GPT-4.1 Nano, Gemini Flash) fonctionnant sans harnais.
Étudiant (Étudiant avec Harnais) :* Le même modèle étudiant équipé d'un harnais d'apprentissage continu spécifique.

Procédure :

Pseudo-étiquetage : Le modèle Enseignant génère des prédictions pour un large pool d'échantillons non étiquetés, traitant ceux-ci comme des « pseudo-étiquettes ».
Corrections parsemées : Le jeu de données est divisé en cycles. Dans chaque cycle, le modèle Étudiant* effectue des prédictions. Un petit échantillon aléatoire (jusqu'à 5) de classifications erronées à « haut impact » (où l'Étudiant* est en désaccord avec l'Enseignant) est renvoyé comme correction. Cela simule la boucle de feedback parcimonieuse et de haute précision des analystes humains dans les opérations de sécurité.
Évaluation : Après plusieurs cycles, la performance de l'Étudiant brut et de l'Étudiant* est mesurée sur un ensemble de test réservé en utilisant deux métriques :
- $\Delta_G$ : Amélioration par rapport aux Étiquettes Réelles (Gold Labels) (utilisées uniquement pour la validation finale).
- $\Delta_T$ : Amélioration par rapport aux Pseudo-étiquettes de l'Enseignant.

Le cadre teste si $\Delta_T$ est corrélé à $\Delta_G$ . Si un harnais améliore l'alignement de l'étudiant avec l'enseignant, on suppose qu'il améliore également l'alignement de l'étudiant avec la vérité terrain.

Configurations de harnais

L'étude évalue trois designs de harnais distincts :

Mémoire (Memory) : Récupère les erreurs passées sous forme d'enregistrements (extrait d'entrée, prédiction incorrecte, étiquette de correction), similaire à MemPrompt ou Reflexion.
Few-shot : Récupère les corrections sous forme d'exemplaires étiquetés (entrée $\to$ étiquette correcte) pour la généralisation, sans montrer l'erreur.
Leçon (Lesson) : Une instance séparée du modèle étudiant réfléchit à une erreur pour générer une courte « leçon » discriminante (une règle empirique avec des indices de type « à appliquer uniquement quand »). Ceci est conçu pour gérer les cas limites où la formulation ou l'intention inverse l'étiquette correcte.

Portée

Les expériences ont été menées à travers :

Tâches : PhishFuzzer (classification d'emails), CTIBench (attribution CVE-to-CWE) et classification de tactiques ATT&CK.
Modèles : Trois familles (Gemini, GPT, Qwen) avec des variantes petites/grandes.
Conditions : Appariements au sein de la même famille (Enseignant/Étudiant de la même famille) et entre familles différentes, à condition que l'Enseignant surpasse l'Étudiant sur la tâche de base.

3. Résultats clés

A. L'alignement avec l'Enseignant est corrélé à la vérité terrain

La principale conclusion est une forte corrélation positive entre $\Delta_T$ (amélioration par rapport à l'enseignant) et $\Delta_G$ (amélioration par rapport aux étiquettes réelles).

Validité : À travers les tâches de sécurité, les familles de modèles et les designs de harnais, les harnais qui améliorent l'alignement de l'étudiant avec l'enseignant améliorent également l'alignement avec le standard réel.
Écart de capacité : La corrélation est maintenue pour les paires de même famille et de familles différentes, à condition qu'un écart de capacité significatif existe. La validité du proxy dépend de l'ampleur de l'écart entre l'étudiant et l'enseignant, et non simplement de l'architecture partagée.
Hypothèse de mise à l'échelle : Dans les cas de désaccord entre l'étudiant et l'enseignant, le modèle enseignant plus large était correct nettement plus souvent que le plus petit étudiant, validant l'hypothion que l'enseignant sert de source de vérité fiable en l'absence d'étiquettes.

B. Inefficacité du LLM-as-a-Judge

L'étude démontre que l'utilisation d'un LLM de force similaire à l'agent comme juge ne produit aucun signal exploitable :

Biais de préférence de soi : Les juges de niveau "étudiant" préfèrent systématiquement leurs propres sorties de base aux sorties améliorées d'un harnais, même lorsque la sortie du harnais est correcte.
Faible fiabilité : Un juge de force similaire présentait une fiabilité contre la vérité terrain d'environ 48 % (proche du hasard) et tombait à 25 % lors de la comparaison étudiant vs enseignant, indiquant une incapacité systématique à reconnaître une performance supérieure à son propre niveau de base.
Biais de position : Les juges présentaient des taux élevés de basculement de verdict basés sur l'ordre de présentation lorsqu'ils étaient incapables de distinguer la qualité.

4. Signification et affirmations

L'article affirme fournir une solution pratique aux opérateurs de sécurité pour évaluer et comparer les harnais d'apprentissage continu dans des environnements opérationnels où les étiquettes réelles sont absentes.

Proxy pour le feedback humain : Les auteurs soutiennent que si un harnais produit une augmentation mesurable par rapport à un modèle plus fort (Enseignant) en utilisant des corrections parsemées, il est très probable qu'il produise des gains similaires lorsque les corrections proviennent d'analystes humains. Le harnais interagit uniquement avec les corrections, et non avec la source (modèle ou humain) ; ainsi, le mécanisme d'amélioration est transférable.
Utilité opérationnelle : Ce cadre permet aux praticiens de :
1. Déterminer si un harnais est utile ou non.
2. Comparer deux designs de harnais différents pour sélectionner le supérieur.
3. Éviter les pièges du « LLM-as-a-judge » lorsque l'agent est déjà un modèle de pointe.
Limites et atténuations : Les auteurs reconnaissent que le proxy repose sur un écart de capacité suffisant entre l'étudiant et l'enseignant. Si l'écart est faible ou si les deux modèles sont peu performants, la corrélation s'affaiblit. Ils suggèrent d'utiliser l'hypothèse de mise à l'échelle (comparaison entre modèles larges et petits) et de vérifier ponctuellement avec quelques échantillons étiquetés pour s'assurer que l'enseignant est suffisamment compétent avant de déployer le proxy.

En conclusion, ce travail établit que le gain relatif à l'enseignant (teacher-relative lift) est une métrique valide et sans étiquettes pour évaluer la valeur des harnais d'apprentissage agentique en cybersécurité, offrant une alternative rigoureuse aux benchmarks traditionnels dans des environnements dynamiques et pauvres en données.