Dans le monde de l'intelligence artificielle, les chercheurs maîtrisent depuis longtemps l'art d'enseigner aux ordinateurs comment résoudre des problèmes aux réponses claires, soit vraies, soit fausses. Si une machine est interrogée pour résoudre une équation mathématique ou écrire une ligne de code, elle peut être testée instantanément ; la réponse est soit correcte, soit elle ne l'est pas. Cette clarté a permis aux modèles d'apprendre rapidement, affinant leurs compétences à travers d'innombrables cycles d'essais et d'erreurs. Cependant, les interactions les plus significatives entre les humains et les machines se produisent souvent dans des domaines où il n'existe pas de réponse unique et correcte. Lorsqu'un ordinateur agit comme un tuteur, un conseiller ou un partenaire créatif, la qualité de sa réponse dépend du contexte, de l'émotion et des valeurs culturelles. Un conseil est-il empathique ? Une idée d'histoire est-elle à la fois originale et appropriée ? Ces questions sont « faiblement vérifiables », ce qui signifie qu'elles ne peuvent pas être contrôlées par une simple formule. Elles nécessitent le jugement humain, qui est lent, coûteux et difficile à mettre à l'échelle. Sans moyen fiable de vérifier la qualité, l'enseignement d'une intelligence artificielle pour exceller dans ces tâches centrées sur l'humain est resté un goulot d'étranglement persistant.

Une équipe de chercheurs de l'Université Normale de l'Est de la Chine et de l'Université de Science et Technologie de Hong Kong a proposé une nouvelle façon de naviguer dans cette incertitude. Ils ont développé un cadre appelé Agentic Data Evolution, ou ADE (Évolution Agentique des Données), qui traite la création de données d'entraînement non pas comme un événement ponctuel, mais comme un processus continu et vivant. Au lieu de générer une liste massive de réponses en espérant que les meilleures survivent, le système organise les données en « instantanés » qui évoluent au fil du temps. Il utilise une équipe d'agents d'intelligence artificielle spécialisés pour observer une réponse actuelle, proposer des variations, puis sélectionner rigoureusement uniquement celles qui représentent une amélioration réelle. Ce processus est conçu pour agir comme une soupape de sécurité, empêchant le système de dériver accidentellement vers une moins bonne performance en essayant de s'améliorer. En appliquant cette méthode à des scénarios éducatifs — en se concentrant spécifiquement sur la manière dont un tuteur pourrait soutenir les valeurs, les émotions et la créativité d'un étudiant — les chercheurs ont découvert qu'ils pouvaient élever régulièrement la qualité des réponses de l'IA sans avoir besoin qu'un humain vérifie chaque étape.

Le défi central auquel l'équipe a été confrontée est de savoir ce qui se passe lorsque l'on tente d'améliorer le comportement d'une IA sur des tâches où l'on ne peut pas facilement mesurer le succès. Dans les méthodes traditionnelles, les chercheurs peuvent générer de nombreuses variations d'une réponse et choisir la meilleure selon un contrôle rapide. Mais lorsque les critères sont complexes, comme le « soutien émotionnel » ou l'« innovation créative », un contrôle rapide peut être trompeur. Une réponse peut paraître plus fluide ou plus assurée, tout en offrant en réalité des conseils moins utiles. Les chercheurs ont constaté que, sans un processus de sélection minutieux, les améliorations itératives peuvent conduire à des « régressions silencieuses », où le modèle se dégrade au fil du temps sans que personne ne s'en aperçoive, car les changements semblent superficiellement positifs. Pour résoudre cela, ils ont construit un système en boucle fermée qui imite une évolution constante et prudente.

Le processus commence par un ensemble de questions et de réponses initiales, qui servent de point de départ. Le système entre ensuite dans un cycle d'observation, de variation et de sélection. D'abord, un agent observe une question spécifique et sa réponse actuelle, identifiant précisément là où la réponse fait défaut en fonction d'objectifs spécifiques, comme le respect des sentiments d'un étudiant ou l'encouragement de la pensée créative. Ensuite, le système génère de nouvelles versions de la réponse. Il le fait de deux manières : un agent effectue de petits ajustements prudents pour corriger les faiblesses immédiates sans changer la structure globale, tandis qu'un autre agent prend de plus grands risques, réorganisant la réponse pour résoudre des problèmes plus profonds. Cela crée un petit vivier de candidats : la réponse originale, une révision conservatrice et une révision agressive.

La partie la plus critique du système est la phase de sélection, qui agit comme un gardien strict. Avant qu'une nouvelle version ne soit acceptée, elle est comparée directement à l'originale. Le système pose une question simple mais rigoureuse : cette nouvelle version est-elle clairement meilleure ? Si l'évidence est ambiguë, ou si la nouvelle version est seulement légèrement différente mais pas définitivement supérieure, le système rejette le changement et conserve la réponse originale. Cette règle d'« état stable » garantit que les données ne progressent que lorsqu'il y a une preuve d'amélioration, agissant efficacement comme un cliquet qui empêche la qualité de reculer. Les tentatives rejetées ne sont pas entièrement abandonnées ; les raisons de leur échec sont enregistrées et utilisées pour guider la prochaine série de tentatives, aidant le système à apprendre ce qu'il ne doit pas faire.

Pour tester si cette méthode a réellement fonctionné, les chercheurs l'ont appliquée à un ensemble de données de 10 000 questions et réponses éducatives, en se concentrant sur trois objectifs centrés sur l'humain : aider les étudiants à naviguer dans des choix moraux, fournir un soutien émotionnel et favoriser l'innovation créative. Ils ont fait passer le système par plusieurs cycles d'évolution, créant une série de jeux de données améliorés. Ils ont ensuite mesuré les résultats de trois manières distinctes. Premièrement, ils ont examiné la qualité intrinsèque des réponses, en comparant les versions évoluées aux originales. Ils ont constaté qu'avec chaque cycle d'évolution, les réponses devenaient nettement meilleures, le taux de victoire des réponses améliorées passant de 50 % dans l'ensemble initial à près de 76 % après plusieurs cycles.

Deuxièmement, ils ont testé si ces améliorations aidaient réellement le modèle d'IA lorsqu'il était mis en pratique. Ils ont entraîné un modèle de langage sur les données évoluées et l'ont testé sur un ensemble distinct de 300 questions que le modèle n'avait jamais vues auparavant. Les résultats ont montré un transfert de compétences clair : le modèle entraîné sur les données évoluées a remporté 68,86 % des comparaisons contre un modèle entraîné sur les données originales. Cela a prouvé que les améliorations n'étaient pas seulement des changements superficiels appréciés par le système, mais de véritables enrichissements de la capacité du modèle à gérer des tâches éducatives complexes. Enfin, pour s'assurer que le système ne se trompait pas lui-même, ils ont fait appel à des experts humains pour évaluer les réponses de manière anonyme. Les experts ont préféré les réponses évoluées 66,11 % du temps, confirmant que le processus automatisé était aligné avec le jugement humain.

L'étude a également exploré si ces gains étaient spécifiques aux tâches éducatives ou s'ils aidaient le modèle dans d'autres domaines. Ils ont testé le modèle amélioré sur des problèmes mathématiques et sur la détection de propos toxiques, qui possèdent tous deux des réponses objectives et claires. Même dans ces domaines non liés, le modèle entraîné sur les données évoluées a obtenu de meilleurs résultats, montrant une augmentation faible mais constante de la précision. Cela suggère que le processus de développement minutieux des données pour des objectifs centrés sur l'humain renforce la capacité globale du modèle à raisonner et à s'aligner sur les valeurs humaines, plutôt que de simplement lui apprendre à imiter un style de tutorat spécifique.

Les chercheurs reconnaissent que leur méthode nécessite plus de puissance de calcul que les approches plus simples car elle implique plusieurs agents travaillant en boucle. Cependant, ils soutiennent que ce coût est nécessaire pour éviter le risque que le modèle ne dérive vers une mauvaise performance. En traitant les données comme quelque chose qui peut évoluer et être affiné au fil du temps, plutôt que comme une ressource statique à générer une seule fois, ils ont démontré une voie pratique pour enseigner à l'intelligence artificielle les compétences subtiles et dépendantes du contexte qui définissent l'interaction humaine. Le travail suggère que pour les tâches les plus difficiles et les plus importantes, la clé du progrès ne réside pas dans la génération de plus de données, mais dans l'évolution des données que nous possédons déjà, avec patience et précision.