Résumé Technique : AGENTIC-IMODELS

Énoncé du Problème

Le domaine de la Science des Données Agentique (ADS) progresse rapidement, les systèmes délèguant de plus en plus des tâches analytiques intermédiaires — telles que la sélection de modèles, l'interprétation des coefficients et la formulation de conclusions — à des agents autonomes. Cependant, un désalignement critique existe : les systèmes ADS actuels s'appuient sur des outils et des modèles d'interprétabilité conçus pour une consommation humaine. Ces outils produisent souvent des sorties contenant des visualisations, des composants complexes intervenables ou du texte non structuré, difficiles à analyser de manière fiable par les agents. Cette incompatibilité entraîne des analyses peu fiables, des choix analytiques obscurcis et des défaillances potentielles dans le cycle de vie de la science des données. Bien que la littérature sur l'apprentissage automatique interprétable centré sur l'humain (par exemple, les arbres de décision, les modèles additifs généralisés) soit riche, elle n'a pas été adaptée pour optimiser l'interprétabilité agentique, définie comme la capacité d'un LLM à simuler avec précision le comportement d'un modèle uniquement en lisant sa représentation sous forme de chaîne de caractères.

Méthodologie

Les auteurs proposent AGENTIC-IMODELS, une boucle d'autorecherche agentique conçue pour faire évoluer des outils de science des données spécifiquement optimisés pour l'interprétabilité agentique. Le système fonctionne à travers les composants suivants :

1. La Boucle d'Autorecherche

Le mécanisme central est un agent de codage (par exemple, Claude Code ou Codex) qui modifie itérativement une classe Python (interpretable_regressor.py) pour maximiser simultanément deux objectifs :

• Performance Prédictive : Mesurée par le rang moyen de l'Erreur Quadratique Moyenne (RMSE) sur une suite de 65 jeux de données tabulaires de régression.
• Interprétabilité Agentique : Mesurée par une nouvelle Note d'Interprétabilité Agentique, définie comme le taux de réussite de tests notés par un LLM.

La boucle procède par étapes : l'agent propose une modification de modèle, le modèle est ajusté sur les données d'entraînement, sa sortie __str__ est générée, et un évaluateur LLM tente de répondre à des questions quantitatives sur le comportement du modèle en se basant uniquement sur cette chaîne. Si les réponses de l'agent correspondent à la vérité terrain (dérivée de la fonction ajustée), le test est réussi.

2. Métrique d'Interprétabilité Agentique

La métrique remplace les expériences humaines par des tests automatisés basés sur les LLM. La suite comprend 200 tests répartis en six catégories :

• Attribution des Caractéristiques : Identification des caractéristiques importantes, classement de celles-ci et détection des caractéristiques non pertinentes.
• Simulation de Points : Prédiction des sorties pour des entrées spécifiques.
• Analyse de Sensibilité : Détermination de la direction du changement et de la sensibilité unitaire.
• Raisonnement Contrefactuel : Résolution de problèmes inverses (trouver des entrées pour des sorties cibles).
• Compréhension Structurelle : Évaluation de la compacité du modèle et des régions de décision.
• Simulation de Fonctions Complexes : Simulation de non-linéarités, d'interactions et de fonctions par morceaux.

Pour prévenir le "piratage de récompense" (où les modèles mémorisent simplement les réponses aux tests), la suite est divisée en un ensemble de développement (utilisé pendant l'optimisation) et un ensemble retenu (utilisé pour l'évaluation).

3. Configuration Expérimentale

Les auteurs ont exécuté la boucle en utilisant Claude Code (Opus-4.6/4.7) et Codex (GPT-5.3) à travers divers niveaux d'effort de raisonnement. Ils ont évalué les modèles évolués par rapport à 16 lignes de base issues de cinq familles : modèles Linéaires, Arbres, Additifs, Basés sur des Règles, et Boîtes Noires. L'évaluation comprenait des jeux de données retenus et des tests d'interprétabilité retenus pour assurer la généralisation.

Contributions Clés

1. Redéfinition de l'Interprétabilité : L'article déplace le paradigme de la conception de modèles interprétables par l'humain vers la conception de modèles interprétables par des agents. Il postule que la "représentation sous forme de chaîne" d'un modèle est l'interface principale du raisonnement agentique.
2. Cadre AGENTIC-IMODELS : Une boucle d'autorecherche entièrement autonome qui découvre de nouvelles classes de modèles en optimisant une métrique d'interprétabilité automatisée et nouvelle.
3. Nouvelles Classes de Modèles : Le système a découvert une bibliothèque de régresseurs compatibles avec scikit-learn qui réalisent des améliorations de Pareto par rapport aux lignes de base existantes, repoussant les frontières de la performance prédictive et de l'interprétabilité agentique.
4. Impact en Aval : Les modèles évolués ont été intégrés en tant que package Python et testés dans des flux de travail ADS de bout en bout, démontrant des gains de performance significatifs.

Résultats

• Améliorations de Pareto : Les AGENTIC-IMODELS évolués occupent une région de l'espace performance-interprétabilité précédemment inoccupée par les lignes de base. Par exemple, des modèles comme HingeEBM ont atteint un rang de prédiction normalisé de 0,19 (près du meilleur TabPFN boîte noire) tout en maintenant une note d'interprétabilité agentique de 0,71 (significativement supérieure aux 0,17 de TabPFN).
• Généralisation : Les modèles se sont généralisés aux jeux de données retenus et aux tests d'interprétabilité retenus. Bien que certains modèles aient montré un piratage de récompense sur l'ensemble de développement, la majorité a montré une forte corrélation entre les notes d'interprétabilité de développement et de rétention ($r=0,65$).
• Performance ADS de Bout en Bout : L'équipement de quatre agents ADS différents (Copilot CLI, Claude Code, Codex) avec la bibliothèque évoluée AGENTIC-IMODELS a amélioré leurs performances sur le benchmark BLADE de 8 % à 73 % sur les métriques de correction, de complétude et de clarté. Les améliorations étaient les plus prononcées pour les agents disposant de modèles de base plus faibles.
• Motifs Qualitatifs : Les modèles évolués ont souvent employé une "complexité d'affichage bornée" (par exemple, des plafonds stricts sur la profondeur des arbres ou les budgets de caractéristiques) et une "optimisation d'affichage" (découplage du moteur prédictif de la représentation sous forme de chaîne, comme l'utilisation d'un EBM caché pour corriger les résidus tout en affichant une équation linéaire simplifiée).

Signification et Revendications

Les auteurs affirment que AGENTIC-IMODELS représente une étape cruciale pour garantir que les insights issus des données soient correctement compris et exploités par des agents IA. À mesure que les systèmes ADS deviennent plus capables, les outils qu'ils utilisent doivent être conçus pour les agents eux-mêmes plutôt que pour des observateurs humains.

L'article positionne ce travail comme le premier à adapter systématiquement les propriétés structurelles favorisant l'interprétabilité humaine (sparsité, additivité, modularité) en propriétés adaptées aux LLM. Les auteurs notent que, bien que la métrique actuelle repose sur des évaluateurs LLM (qui peuvent présenter des biais), la forte corrélation entre la métrique et les performances ADS en aval suggère qu'elle capture un signal utile. Ils concluent qu'à mesure que les LLM s'améliorent dans l'analyse de modèles structurés, des cadres comme AGENTIC-IMODELS permettront une interprétation plus sophistiquée, potentiellement surhumaine, de données complexes, déplaçant le domaine vers un avenir où les agents réalisent la vaste majorité du travail de science des données.