CVEvolve: Autonomous Algorithm Discovery for Unstructured Scientific Data Processing

CVEvolve est un système agentique autonome et sans code qui exploite les LLM et une stratégie de recherche multi-tours pour découvrir et optimiser de manière indépendante des algorithmes de traitement de données scientifiques, permettant aux scientifiques de domaine d'analyser efficacement des données complexes et non structurées sans nécessiter une expertise approfondie en programmation.

L'essentiel

Imaginez que vous soyez un scientifique travaillant dans un laboratoire. Vous avez une pile massive de données désordonnées et complexes — comme des milliers de photos floues de minuscules cristaux ou des scans aux rayons X qui ressemblent à de la neige sur un vieil téléviseur. Pour donner un sens à ces données, vous avez besoin d'un ensemble spécifique d'instructions (un algorithme) pour les nettoyer, y trouver des motifs ou mesurer des choses.

Habituellement, vous devriez engager un programmeur informatique pour écrire ces instructions pour vous. Mais que se passerait-il si vous pouviez simplement décrire ce dont vous avez besoin en anglais courant, et qu'un scientifique-robot déterminerait le code, le testerait, corrigerait ses erreurs et vous fournirait un outil fonctionnel ?

C'est exactement ce que fait CVEvolve.

Voici une explication simple de son fonctionnement, utilisant quelques analogies du quotidien :

1. Le Problème : La « Cuisine Désordonnée »

Les données scientifiques sont souvent non structurées. Elles sont bruyantes, comportent des couleurs étranges ou arrivent dans des formats que les programmes informatiques standards ne comprennent pas. Les scientifiques de domaine (comme les biologistes ou les physiciens) sont des experts dans leur domaine, mais ils ne sont pas toujours des experts en codage. Tenter d'écrire du code pour résoudre leurs problèmes spécifiques de données, c'est comme essayer de construire un four sur mesure juste pour cuire un seul type de gâteau spécifique. C'est difficile, lent et nécessite des compétences qu'ils n'ont peut-être pas.

2. La Solution : Le « Chef Autonome »

CVEvolve est un système d'IA conçu pour être ce chef autonome. Vous lui donnez les « ingrédients » (vos données brutes) et un « objectif de recette » (par exemple : « trouvez les points lumineux dans ces images aux rayons X »). Il ne se contente pas de deviner ; il construit activement, teste et améliore sa propre « recette » (l'algorithme) encore et encore.

3. Comment il Apprend : La « Danse en Trois Étapes »

Au lieu d'essayer simplement des choses au hasard, CVEvolve utilise une stratégie intelligente avec trois mouvements principaux, similaires à la façon dont un humain pourrait résoudre un puzzle :

• Générer (L'Inventeur Sauvage) : L'IA tente de trouver un moyen complètement nouveau de résoudre le problème à partir de zéro. C'est comme faire du brainstorming pour une toute nouvelle idée.
• Ajuster (Le Fine-Tuneur) : Si elle trouve une solution qui fonctionne correctement, elle tente de régler les boutons et les cadrans pour la faire fonctionner mieux. C'est comme ajuster l'assaisonnement d'une soupe qui est déjà bonne.
• Évoluer (Le Mixeur) : Elle prend deux solutions différentes qui fonctionnent bien et tente de combiner leurs meilleures parties pour créer une nouvelle super-solution. C'est comme mélanger les meilleures parties de deux recettes différentes pour créer un chef-d'œuvre.

4. La Sauce Secrète : « Lignée » et « Échantillonnage Stochastique »

L'article mentionne quelque chose appelé « échantillonnage stochastique de candidats conscient de la lignée ». Voici une façon simple d'y réfléchir :

Imaginez un arbre généalogique de solutions. Certaines solutions sont des « parents », et les nouvelles sont leurs « enfants ».

• Le Piège : Habituellement, l'IA devient avide. Elle ne sélectionne que la solution absolument la plus performante pour créer la suivante. C'est comme n'écouter que le numéro 1 des hits à la radio ; vous pourriez manquer un joyau caché qui a juste besoin de un peu plus de temps pour briller.
• La Correction CVEvolve : CVEvolve utilise un peu de « hasard contrôlé » (comme lancer un dé). Elle choisit parfois une solution qui n'est pas la tout à fait meilleure pour l'instant, au cas où ce « outsider » aurait un potentiel caché que le meilleur performer n'a pas. Cela garantit que l'IA ne reste pas bloquée dans une routine et continue d'explorer de nouvelles possibilités.

5. Le Filet de Sécurité : Le « Test de Dégustation à l'Aveugle »

L'un des plus grands dangers en IA est la « sur-optimisation ». Imaginez un étudiant qui mémorise les réponses d'un test d'entraînement mais échoue au vrai examen parce qu'il a simplement mémorisé les questions spécifiques, et non les concepts.

CVEvolve possède une fonctionnalité de sécurité spéciale appelée Test de Conservation (Holdout Test) :

• L'IA travaille sur un « Ensemble de Développement » (le test d'entraînement).
• Il ne lui est jamais permis de voir l'« Ensemble de Conservation » (le vrai examen) pendant qu'elle apprend.
• Seulement après qu'elle pense avoir trouvé la solution parfaite, un agent séparé et indépendant exécute la solution sur l'Ensemble de Conservation pour voir si elle fonctionne réellement sur de nouvelles données, jamais vues auparavant.
• Si la solution échoue au test à l'aveugle, CVEvolve sait qu'elle était en train de mémoriser et retourne au tableau de dessin.

6. Ce qu'elle a Réellement Fait

L'article a testé ce système sur trois tâches scientifiques réelles :

1. Alignement d'images aux rayons X : Comme essayer d'aligner deux photos légèrement décalées d'un petit objet. CVEvolve a trouvé une méthode qui était 8 fois plus précise que les méthodes standard utilisées auparavant.
2. Recherche de « Pics de Bragg » : Ce sont des points lumineux dans les motifs de diffraction aux rayons X. Les données étaient très bruyantes, et l'IA devait trouver les points sans se laisser tromper par le bruit de fond. Elle a amélioré le taux de réussite d'environ 24 % à près de 84 %.
3. Séparation des Anneaux et des Points : Dans certaines images, vous avez des anneaux (comme les cernes des arbres) et des points (comme des étoiles). Ils se ressemblent beaucoup. L'IA a appris à les distinguer, ce qui est crucial pour comprendre le matériau étudié.

La Conclusion

CVEvolve est un outil qui permet aux scientifiques qui ne savent pas coder de dire : « Voici mes données désordonnées, veuillez déterminer comment les analyser ». L'IA agit comme un assistant de recherche infatigable qui écrit du code, exécute des tests, examine les résultats visuels, corrige ses propres erreurs et s'assure que le résultat final fonctionne réellement sur de nouvelles données. Elle transforme le travail difficile et technique de l'écriture de logiciels d'analyse en une conversation.

Résumé technique

Résumé technique : CVEvolve – Découverte autonome d'algorithmes pour le traitement de données scientifiques non structurées

Énoncé du problème

Le traitement des données scientifiques, en particulier dans des domaines tels que l'imagerie et la science des lignes de faisceau, nécessite souvent des algorithmes spécifiques à la tâche que les scientifiques spécialistes doivent développer, malgré l'absence d'une expertise étendue en vision par ordinateur ou en ingénierie logicielle. Les systèmes existants de découverte automatisée de méthodes (par exemple, AutoML, recherche d'architecture neuronale) sont largement conçus pour des problèmes d'optimisation structurés disposant de données d'entraînement bien définies, d'espaces de conception contraints et d'objectifs scalaires. Ils peinent à gérer la réalité « plus désordonnée » des données scientifiques non structurées, qui peuvent arriver sous forme d'images uniques, de motifs de diffraction ou de journaux faiblement spécifiés, présentant des plages dynamiques élevées, du bruit et des étiquettes éparses. De plus, de nombreux systèmes agentiques existants manquent de mécanismes pour suivre les performances sur des données non vues (ensembles de validation), ce qui conduit à une sur-optimisation, et échouent souvent à fournir les capacités d'inspection visuelle nécessaires au diagnostic des artefacts scientifiques.

Méthodologie

CVEvolve est un cadre agentique autonome conçu pour découvrir et construire des algorithmes de traitement de données scientifiques sans s'appuyer sur des modèles de problèmes prédéfinis ou des flux de travail rigides. Il fonctionne comme un méta-algorithme qui gère un processus de recherche multi-tours au sein d'une boucle partagée impliquant le code, les données, les métriques, l'historique et les sorties visuelles.

Architecture de base et flux de travail

Le système est construit sur un cadre d'agents basé sur LangGraph et fonctionne à travers trois étapes principales :

1. Préparation : L'agent inspecte les données de la tâche, établit des métriques d'optimisation à partir de descriptions en langage naturel et construit un cadre d'évaluation minimal.
2. Évaluation de la référence : L'agent évalue les algorithmes de référence fournis ou suggérés par l'utilisateur pour établir une référence de performance.
3. Développement d'algorithmes : Le système entre dans une boucle de découverte composée de tours où le contrôleur sélectionne l'une des trois actions stratégiques suivantes :
   • Générer : Propose de nouveaux candidats matériels basés sur les caractéristiques de la tâche et les échecs antérieurs.
   • Ajuster : Affine un seul candidat parent en ajustant les hyperparamètres ou en apportant des améliorations fines.
   • Évoluer : Combine les forces de deux candidats parents (croisement) ou effectue une mutation agressive si un seul candidat existe.

Composants techniques clés

• Échantillonnage stochastique conscient de la lignée : Pour équilibrer l'exploration et l'exploitation, CVEvolve utilise une distribution de Gibbs pour l'échantillonnage des candidats parents, inspirée de MAP-Elites. Les candidats sont regroupés par lignée (relations d'héritage). Un paramètre de température ($\tau$) contrôle la probabilité de sélectionner des lignées moins bien classées mais potentiellement prometteuses, empêchant la recherche de s'effondrer trop tôt sur un seul incumbent.
• Test sur ensemble de validation piloté par agent : Pour prévenir la sur-optimisation, CVEvolve emploie un « agent de test sur ensemble de validation » distinct. Cet agent opère sur un ensemble de données de validation réservé que l'agent de recherche principal ne voit jamais. L'agent principal fournit un contrat d'exécution compact (script et dépendances), et l'agent de validation exécute l'évaluation indépendamment, en enregistrant les métriques sans exposer les données à la boucle de développement.
• Visualisation et inspection : Le système inclut des outils pour rendre les images scientifiques (gérant les plages dynamiques élevées, les valeurs aberrantes et les formats sans perte comme TIFF) en PNG visibles par l'agent. Cela permet à l'agent d'inspecter les résultats intermédiaires et de diagnostiquer visuellement les modes d'échec, une capacité souvent absente dans les agents de codage centrés sur le texte.
• Gestion dynamique de l'environnement : Contrairement aux systèmes nécessitant des environnements préconfigurés, CVEvolve permet à l'agent de gérer son propre temps d'exécution local (par exemple, en utilisant uv pour l'installation des dépendances et l'exécution), lui permettant de réparer les scripts cassés et de configurer l'espace de travail dans le cadre du processus de découverte.
• Gestion de l'état : L'historique de recherche est stocké dans une base de données SQLite persistante plutôt que de reposer uniquement sur la mémoire en contexte ou sur le RAG basé sur des vecteurs. Cela assure un enregistrement structuré des lignées, des métriques et des artefacts de candidats, facilitant le classement déterministe et la récupération de session.

Contributions clés

L'article expose les contributions spécifiques suivantes :

1. Cadre agentique général : Un système pour la découverte autonome d'algorithmes adapté aux problèmes non structurés, éliminant le besoin de pipelines de modélisation prédéfinis ou de cadres d'évaluation rigides.
2. Prise en charge de la visualisation scientifique : Des outils conçus spécifiquement pour les données scientifiques, prenant en charge les plages dynamiques élevées, la robustesse aux valeurs aberrantes et le rendu fidèle des informations d'image quantitatives.
3. Cadre de recherche à long horizon : Un système combinant les actions de génération, d'ajustement et d'évolution avec une gestion de l'état consciente de la lignée et un mécanisme de test sur ensemble de validation piloté par agent pour détecter la sur-optimisation.
4. Traduction des métriques : La capacité de l'agent à traduire les descriptions de métriques fournies par l'utilisateur en procédures d'évaluation exécutables.
5. Flexibilité du temps d'exécution : Permettre à l'agent de construire et de gérer son propre environnement d'exécution, réduisant la dépendance aux configurations préétablies.
6. Démonstration empirique : Validation du cadre sur trois tâches distinctes d'imagerie scientifique.

Résultats expérimentaux

CVEvolve a été évalué sur trois tâches d'imagerie scientifique non structurées en utilisant le modèle Claude Opus 4.6 :

1. Enregistrement d'images de fluorescence X (XRF) :

   • Tâche : Enregistrement translationnel d'images XRF bruyantes à plage dynamique élevée avec des nettetés variables.
   • Résultat : CVEvolve a découvert un algorithme analytique atteignant une erreur euclidienne moyenne de 0,12, soit une amélioration d'un facteur près de huit par rapport à la référence par force brute (0,98) et surpassant significativement une implémentation précédente d'OpenEvolve (0,23) qui nécessitait 500 itérations pour se stabiliser.
   • Généralisation : L'erreur sur l'ensemble de validation correspondait étroitement à l'erreur de développement, indiquant une généralisation robuste sans sur-optimisation.

2. Détection du pic de Bragg :

   • Tâche : Identification des pics de Bragg dans les images de diffraction X avec des fonds bruyants et des formes de pics variables.
   • Résultat : Le score F1 sur l'ensemble de validation a culminé au tour 5 (0,788) avant de chuter lors des tours ultérieurs, démontrant l'utilité du suivi sur ensemble de validation pour identifier le candidat optimal avant le surajustement au petit ensemble de développement. Le meilleur candidat a amélioré le score F1 de 0,298 (référence) à 0,788, la précision passant de 0,237 à 0,839.

3. Segmentation en microscopie de diffraction à haute énergie (HEDM) :

   • Tâche : Distinction entre les anneaux de poudre et les pics de Bragg dans les images de diffraction polycristallines.
   • Résultat : L'agent a découvert un flux de travail impliquant une transformation logarithmique, une estimation du fond radial et des tests de cohérence. Le meilleur candidat a atteint un IoU pondéré de 0,50 sur l'ensemble de validation (Tour 16), surpassant significativement la référence (0,37).

Validation de l'échantillonnage stochastique :
Une expérience de « problème jouet » consistant à trouver le maximum d'une fonction synthétique 2D a démontré que l'échantillonnage stochastique avec une température plus élevée ($\tau=5$) permettait au système d'échapper aux optima locaux et de trouver le maximum global dans tous les essais en 6 tours. En revanche, l'échantillonnage déterministe ($\tau=0$) n'a pas trouvé le maximum dans 3 essais sur 5 en 30 tours, soulignant l'importance d'explorer des lignées sous-performantes mais prometteuses.

Signification et revendications

L'article revendique que CVEvolve représente une étape vers des flux de travail de découverte scientifique plus autonomes en abaissant la barrière pour les scientifiques spécialistes afin de développer des méthodes de traitement de données robustes, interprétables et spécifiques à la tâche.

• Interface sans code : Elle permet aux scientifiques de décrire les tâches et les données en langage naturel sans écrire de scripts d'évaluation personnalisés ni gérer des environnements complexes.
• Surmonter la sur-optimisation : En intégrant un test sur ensemble de validation opéré par un agent et un échantillonnage conscient de la lignée, le système répond aux vulnérabilités critiques du développement autonome d'algorithmes, garantissant que les algorithmes découverts généralisent bien.
• Combler le fossé : Le cadre comble avec succès le fossé entre les hypothèses structurées des systèmes AutoML actuels et la réalité non structurée du traitement des données scientifiques, démontrant que les agents alimentés par des LLM peuvent synthétiser autonomement des algorithmes qui rivalisent ou dépassent les références conçues par l'homme dans des contextes scientifiques spécifiques.

Les auteurs positionnent CVEvolve non pas comme un remplacement des scientifiques spécialistes, mais comme un outil pour accélérer le développement de méthodes pratiques de traitement de données scientifiques en déplaçant la charge de la scripture manuelle par essais et erreurs vers l'évolution autonome d'algorithmes.