🤖 AI

SE-Bench: Benchmarking Self-Evolution with Knowledge Internalization

Ce papier présente SE-Bench, un environnement de diagnostic qui obscurcit la bibliothèque NumPy pour évaluer rigoureusement l'évolution autonome en isolant l'intériorisation des connaissances des connaissances antérieures et de la complexité du raisonnement, révélant ainsi que l'entraînement en livre fermé et l'auto-jeu sont plus efficaces que l'entraînement en livre ouvert ou l'apprentissage par renforcement standard pour intégrer de nouvelles connaissances dans les poids du modèle.

Auteurs originaux : Jiarui Yuan, Tailin Jin, Weize Chen, Zeyuan Liu

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiarui Yuan, Tailin Jin, Weize Chen, Zeyuan Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant brillant comment utiliser un langage de programmation tout nouveau, complètement alien. Le hic ? Ce langage ressemble et agit exactement comme un langage qu'ils connaissent déjà (comme NumPy de Python), mais chaque mot et chaque commande a été brouillé en un non-sens.

Par exemple, au lieu d'écrire numpy.mean, ils doivent écrire zwc.kocito.

C'est l'idée centrale derrière SE-BENCH, un nouvel « examen » créé par des chercheurs de l'Université Tsinghua pour tester si les agents IA peuvent vraiment apprendre et mémoriser de nouvelles compétences par eux-mêmes, plutôt que de simplement deviner ou s'appuyer sur une triche.

Voici une analyse de leurs découvertes utilisant des analogies simples :

1. Le Problème : Le Test « Fausse Nouvelle »

Les tests actuels d'IA sont défectueux. Si vous demandez à une IA de résoudre un problème mathématique en utilisant une nouvelle bibliothèque, l'IA pourrait simplement s'en souvenir de ses données d'entraînement (comme un étudiant qui a mémorisé le manuel avant l'examen). Ou, si l'IA échoue, vous ne savez pas si c'est parce qu'elle a oublié la bibliothèque ou parce que le problème mathématique était trop difficile.

La Solution SE-BENCH :
Les chercheurs ont créé une version « brouillée » d'une bibliothèque courante appelée NumPy.

Le Brouillage : Ils ont renommé chaque fonction en mots non-sens aléatoires (par exemple, mean devient kocito).
La Règle : L'IA n'a pas le droit d'utiliser la bibliothèque originale. Elle doit utiliser les mots non-sens.
L'Objectif : Si l'IA peut résoudre le problème en utilisant les mots non-sens, cela prouve qu'elle a réellement appris les nouvelles règles. Si elle ne le peut pas, elle a échoué à intérioriser les connaissances.

2. Les Trois Grandes Découvertes

Les chercheurs ont testé différentes méthodes pour enseigner à l'IA et ont découvert trois vérités surprenantes :

A. Le « Paradoxe du Livre Ouvert » (Ne laissez pas tricher !)

Le Scénario : Ils ont essayé d'enseigner à l'IA de deux manières :
1. Livre Ouvert : L'IA pouvait voir le dictionnaire (la documentation) pendant l'étude et pendant l'examen.
2. Livre Fermé : L'IA pouvait voir le dictionnaire pendant l'étude, mais elle devait jeter le dictionnaire avant de passer l'examen.
Le Résultat : Les étudiants « Livre Ouvert » ont échoué complètement lorsque le dictionnaire a été retiré. Ils n'avaient pas réellement appris le matériel ; ils se contentaient de le consulter.
La Leçon : Pour que l'IA apprenne vraiment et stocke les connaissances dans son « cerveau » (ses poids internes), vous devez la forcer à étudier sans le dictionnaire pendant les mises à jour de l'entraînement. Elle doit comprimer l'information en elle-même.

B. Le « Fossé RL » (L'Apprentissage par Renforcement est un mauvais enseignant pour les faits)

Le Scénario : Ils ont essayé d'utiliser l'Apprentissage par Renforcement (RL), une méthode où l'IA apprend en essayant des choses et en recevant des récompenses pour les bonnes réponses (comme un chien apprenant des tours).
Le Résultat : Même avec la méthode « Livre Fermé », le RL a échoué. L'IA n'a pas pu apprendre les nouveaux mots non-sens.
La Raison : Les chercheurs ont constaté que les « freins de sécurité » intégrés au RL (appelés PPO clipping) empêchent l'IA de faire les grands changements audacieux nécessaires pour mémoriser un nouveau vocabulaire. C'est comme un enseignant qui a trop peur de laisser l'étudiant faire de grosses erreurs, de sorte que l'étudiant n'apprend jamais les nouvelles règles.
La Leçon : Le RL est excellent pour polir les comportements, mais il est terrible pour enseigner de nouveaux faits à partir de zéro.

C. Le Succès du « Jeu en Solo » (S'enseigner soi-même fonctionne, si vous utilisez la bonne méthode)

Le Scénario : Ils ont laissé l'IA générer ses propres problèmes d'entraînement et essayer de les résoudre (Jeu en Solo).
Le Résultat :
- S'ils utilisaient le RL pour le jeu en solo, l'IA échouait (0 % de réussite).
- S'ils utilisaient le Fine-Tuning Supervisé (SFT) (une méthode d'enseignement plus directe) sur les problèmes générés par l'IA elle-même, elle réussissait.
La Leçon : L'IA peut s'enseigner elle-même de nouvelles compétences, mais seulement si la « méthode d'enseignement » (SFT) est suffisamment forte pour forcer les connaissances dans son cerveau. Le RL n'est pas une solution « universelle » pour l'évolution autonome.

Analogie de Résumé

Imaginez l'IA comme un étudiant se préparant pour un examen surprise sur une nouvelle matière.

L'Examen : L'examen utilise un langage inventé qui ressemble à l'anglais mais avec des mots différents.
L'Échec : Si l'étudiant est autorisé à tenir le dictionnaire pendant l'examen, il réussit, mais il n'a rien appris. S'il essaie d'apprendre en devinant simplement et en obtenant des « points » pour les bonnes réponses (RL), il reste bloqué car les règles de devinette sont trop strictes.
Le Succès : La seule façon pour l'étudiant d'apprendre vraiment est de s'entraîner avec le dictionnaire, puis d'être forcé de passer l'examen sans (Entraînement Livre Fermé). Cela force son cerveau à réellement mémoriser les nouveaux mots.

La Conclusion :
SE-BENCH prouve que pour que l'IA puisse vraiment « évoluer » et apprendre de nouvelles compétences par elle-même, nous devons cesser de lui permettre de s'appuyer sur des triches externes pendant l'entraînement et cesser d'utiliser l'Apprentissage par Renforcement pour enseigner de nouveaux faits. Nous devons la forcer à mémoriser les connaissances en interne.

Résumé technique : SE-BENCH : Évaluation de l'évolution autonome avec internalisation des connaissances

Définition du problème

L'article comble une lacune critique dans l'évaluation des agents en évolution autonome : leur capacité à internaliser de nouvelles connaissances et compétences pour un apprentissage tout au long de la vie. Alors que les benchmarks actuels évaluent des adaptations transitoires (par exemple, le raffinement au moment de l'inférence ou la modification itérative de soi-même), ils ne parviennent pas à mesurer rigoureusement la capacité fondamentale de l'internalisation des connaissances — le processus par lequel un agent apprend activement de l'expérience pour mettre à jour ses paramètres de manière permanente.

Les évaluations existantes souffrent de deux confusions fondamentales :

Enchevêtrement des connaissances antérieures : Il est difficile de distinguer si un agent a résolu une tâche impliquant des connaissances « nouvelles » en les apprenant pendant l'expérience ou en les rappelant à partir de données de pré-entraînement.
Enchevêtrement de la complexité du raisonnement : Les échecs sur des tâches complexes sont ambigus ; ils peuvent provenir d'une incapacité à internaliser les connaissances nécessaires ou simplement de la difficulté logique du raisonnement requis.

Pour résoudre cela, les auteurs plaident pour un test « Aiguille dans une Botte de Foin » pour l'évolution autonome : un environnement où les tâches sont algorithmiquement triviales si les connaissances sont internalisées, mais impossibles sans elles.

Méthodologie : Construction de SE-BENCH

Les auteurs introduisent SE-BENCH, un environnement de diagnostic conçu pour obscurcir la bibliothèque NumPy en un package pseudo-nouveau nommé ZWC. Le pipeline de construction comprend trois étapes :

Obscurcissement :
- Renommage : 268 fonctions courantes de NumPy sont mappées vers des identifiants aléatoires et sémantiquement vides (par exemple, numpy.mean $\rightarrow$ zwc.kocito).
- Implémentation d'un wrapper : Une classe personnalisée ZWCArray enveloppe toutes les entrées et sorties pour empêcher les modèles de contourner l'obscurcissement en appelant des méthodes standard sur les tableaux NumPy sous-jacents.
- Réécriture de la documentation : La documentation de l'API est réécrite par un LLM pour décrire le nouveau package ZWC, garantissant que la logique reste isomorphe à NumPy standard mais que la syntaxe soit étrangère.
Génération de questions :
- Tâches à fonction unique : Problèmes nécessitant exactement une fonction ZWC spécifique pour être résolus, assurant une couverture de 100 % de la bibliothèque.
- Tâches à fonctions multiples : Problèmes complexes nécessitant la composition d'au moins trois fonctions issues d'un ensemble échantillonné pour tester la généralisation au-delà de la simple mémorisation.
Filtrage :
- Les tâches sont validées via un protocole de consensus strict utilisant trois modèles de pointe (Qwen3-Coder, Gemini-2.5-Pro, GPT-OSS-120B). Une tâche n'est conservée que si les trois peuvent la résoudre en utilisant NumPy standard.
- Une vérification humaine est effectuée sur un sous-ensemble aléatoire pour assurer la clarté.

Protocole d'évaluation :

Phase d'entraînement : Les agents reçoivent la description du problème et la documentation de l'API ZWC pertinente.
Phase de test : Les agents reçoivent uniquement la description du problème. Ils doivent s'appuyer entièrement sur les connaissances internalisées pendant l'entraînement.
Métrique de succès : Une solution est correcte uniquement si elle passe tous les cas de test, utilise les API ZWC (vérifié via analyse AST) et ne contient aucune importation de la bibliothèque NumPy originale.

Contributions et insights clés

L'article présente trois insights principaux dérivés de l'évaluation de diverses stratégies d'évolution autonome (basées sur la mémoire, SFT, RL et Self-Play) sur SE-BENCH :

1. Le paradoxe du livre ouvert

La présence de documentation de référence lors des mises à jour des paramètres inhibe la rétention à long terme.

Résultat : L'ajustement fin supervisé standard (Open-SFT), où la documentation est présente à la fois lors de la collecte des trajectoires et de l'entraînement, entraîne une performance de 0 % sur l'ensemble de test (sans docs).
Mécanisme : Supprimer la documentation pendant la phase d'entraînement (Closed-SFT) force le modèle à compresser la logique externe dans ses poids plutôt que de s'appuyer sur le contexte. Closed-SFT surpasse significativement Open-SFT, prouvant que l'internalisation véritable nécessite une « famine d'information » pendant l'optimisation.

2. Le fossé du RL

L'apprentissage par renforcement (RL) standard échoue à internaliser de nouvelles connaissances, même dans le cadre du mode « Livre fermé ».

Résultat : Closed-RL atteint une performance de 0 %.
Mécanisme : L'échec est attribué à deux mécanismes spécifiques du RL standard (notamment PPO/GRPO) :
- Recadrage PPO : Empêche les grands déplacements de masse de probabilité nécessaires pour apprendre de nouvelles mappages de vocabulaire (par exemple, np.mean $\rightarrow$ zwc.kocito).
- Gradients négatifs : L'utilisation d'avantages normalisés introduit un renforcement négatif pour les réponses inférieures à la moyenne, ce qui érode les associations tentatives avant qu'elles ne puissent se solidifier pendant les premières étapes fragiles de la mémorisation.
Succès hybride : Une approche hybride (Closed-SFT suivi de RL) atteint des performances de pointe. Ici, SFT établit la mémoire fondamentale, et RL agit comme un optimiseur comportemental, élaguant les « paris paresseux » et améliorant la discipline d'exécution sans corriger les erreurs fondamentales de mémoire.

3. Viabilité du Self-Play

L'évolution autonome via des données générées par soi-même est viable, mais le mécanisme d'optimisation est critique.

Résultat : Le pure RL self-play (Absolute-Zero) échoue complètement (0 %). Cependant, l'application de Closed-SFT aux tâches et réponses générées par soi-même (Closed-SFTself) produit des performances significatives (22,5 % sur les tâches à fonction unique).
Implication : Les modèles sont capables de générer des curriculums valides pour s'enseigner eux-mêmes ; l'échec du self-play standard est dû à l'inadéquation du RL pour l'internalisation des connaissances, et non au paradigme du self-play lui-même.

Résultats

Performance de base : Les méthodes basées sur la mémoire (Expel) ont obtenu des résultats non triviaux (jusqu'à 47,1 %) en mappant des identifiants vers des concepts connus, mais n'ont pas réussi à atteindre une rétention parfaite.
Optimisation des paramètres : Seuls Closed-SFT et les méthodes hybrides Closed-SFT-RL ont réussi. Toutes les autres méthodes de mise à jour des paramètres (Open-SFT, Open-RL, Closed-RL, Absolute-Zero) ont échoué complètement.
Généralisation : Les résultats (Paradoxe du livre ouvert et Fossé du RL) ont été validés sur différentes familles de modèles (Qwen3 et Llama3) et échelles (de 1,7 Md à 30 Md de paramètres).
Analyse des erreurs : Le RL a considérablement réduit les « Hallucinations d'attributs » (deviner des méthodes inexistantes) en encourageant un retour aux primitives robustes, mais n'a pas corrigé les « Hallucinations de fonctions » (mauvais noms d'API) ou les « Incohérences de signature », confirmant le rôle du RL comme optimiseur comportemental plutôt que comme internalisateur de connaissances.

Importance

L'article positionne SE-BENCH comme une plateforme de diagnostic rigoureuse pour la communauté des agents en évolution autonome. Son importance réside dans :

Isoler l'internalisation : Il fournit un environnement propre et contrôlé pour séparer l'internalisation des connaissances de la complexité du raisonnement et des fuites de connaissances antérieures.
Outil de diagnostic : Il sert de « test unitaire » pour les futurs agents en évolution autonome, suggérant que les agents doivent réussir SE-BENCH pour être confiés à une évolution complexe et ouverte.
Insight mécanistique : Il remet en question l'hypothèse selon laquelle le RL est une solution universelle pour l'amélioration de soi, démontrant que SFT est supérieur pour l'internalisation factuelle tandis que le RL est mieux adapté à l'optimisation de l'utilisation de connaissances déjà internalisées.
Recherche future : Il établit une fondation pour l'étude des mécanismes fondamentaux de l'internalisation des connaissances, guidant potentiellement la conception d'algorithmes hybrides plus ciblés pour le développement de l'AGI.