A systematic assessment of Large Language Models for constructing two-level fractional factorial designs

Cette étude évalue systématiquement la capacité des modèles de langage GPT et Gemini à générer des plans factoriels fractionnaires à deux niveaux optimaux, démontrant qu'ils peuvent efficacement construire des designs de 8, 16 et 32 essais pour jusqu'à huit facteurs en respectant les critères de résolution et d'aberration minimale.

L'essentiel

Voici une explication de cette recherche, imagée et simplifiée, pour comprendre comment l'intelligence artificielle apprend à organiser des expériences scientifiques.

🧪 Le Grand Défi : Trouver le "Menu" Parfait

Imaginez que vous êtes un chef cuisinier (ou un scientifique) qui veut tester l'effet de différents ingrédients sur la saveur d'un gâteau. Vous avez 20 ingrédients potentiels (farine, sucre, œufs, vanille, etc.), mais vous ne pouvez pas faire 1 million de gâteaux pour tout tester. C'est trop long et trop cher !

En statistique, on appelle cela un plan d'expérience. L'objectif est de trouver le "menu" parfait : un nombre réduit de gâteaux à cuire pour découvrir exactement quels ingrédients comptent vraiment, sans gaspiller de temps ni de farine.

Traditionnellement, les chefs utilisent des livres de recettes standards (des catalogues mathématiques) pour trouver ces menus optimaux. Mais aujourd'hui, une nouvelle technologie est arrivée en cuisine : les Intelligences Artificielles (IA) comme ChatGPT ou Gemini.

🤖 L'Expérience : L'IA peut-elle devenir Chef ?

Les auteurs de cette étude se sont demandé : "Si on demande à une IA très intelligente de créer ce menu parfait, va-t-elle réussir, ou va-t-elle nous servir un gâteau raté ?"

Ils ont pris deux géants de l'IA (GPT-5.1 et Gemini 2.5 Flash) et leur ont donné un défi : créer des "menus" (plans d'expérience) pour tester entre 4 et 26 ingrédients, avec un nombre limité de tests (8, 16 ou 32 gâteaux à cuire).

Pour bien communiquer avec l'IA, ils n'ont pas juste demandé "Fais-moi un menu". Ils ont utilisé une technique spéciale appelée "Chain-of-Thought" (Chaîne de Pensée).

• L'analogie : C'est comme demander à l'IA : "Ne me donne pas juste la réponse. Dis-moi d'abord comment tu y penses, étape par étape, comme un élève qui résout un problème de maths au tableau, mais donne-moi seulement le tableau final à la fin."

🏆 Les Résultats : Qui gagne la médaille ?

Les chercheurs ont fait tester l'IA 10 fois pour chaque défi, comme si 10 élèves différents essayaient de résoudre le même problème. Voici ce qu'ils ont découvert :

1. Les Petits Défis (8 tests) : Une victoire éclatante ! 🥇

Pour les petits menus (8 gâteaux à tester), l'IA a été incroyable.

• Gemini a réussi à créer le menu parfait à chaque fois, 10 fois sur 10. C'est comme si un chef étoilé avait mémorisé la recette parfaite et ne la ratait jamais.
• GPT a aussi très bien fait, mais il a parfois eu de petites hésitations.

2. Les Défis Moyens (16 tests) : L'IA est compétente, mais pas parfaite 🥈

Quand le menu devient un peu plus complexe (16 tests), l'IA commence à faire des erreurs.

• Elle arrive souvent à trouver un bon menu, mais pas toujours le meilleur possible.
• Parfois, elle oublie un ingrédient ou mélange les niveaux. C'est comme si le chef commençait à se tromper de mesure quand la recette devient trop longue.

3. Les Gros Défis (32 tests et plus) : L'IA est perdue 🥉

Pour les très gros menus (32 tests ou plus, avec beaucoup d'ingrédients), l'IA a du mal.

• Elle ne parvient souvent pas à créer de menu du tout, ou elle en crée qui ne fonctionnent pas (des gâteaux qui ne se lèvent pas).
• À ce stade, les livres de recettes traditionnels (les manuels de statistiques) sont encore bien meilleurs.

💡 La Leçon à Retenir

Cette étude est comme un test de conduite pour les nouvelles voitures autonomes (les IA) :

• Sur les petites routes (petits plans d'expérience) : Les voitures autonomes (surtout Gemini) conduisent mieux que n'importe quel humain. Elles sont rapides, précises et ne font pas d'erreurs.
• Sur les autoroutes complexes (grands plans d'expérience) : Elles ont encore besoin d'un conducteur humain à côté pour les aider, ou mieux vaut utiliser les vieux guides de navigation (les manuels de statistiques).

🚀 Conclusion pour le Grand Public

Si vous êtes un ingénieur ou un scientifique et que vous avez besoin de tester quelques facteurs (par exemple, 4 à 8 variables), vous pouvez maintenant faire confiance à l'IA pour vous donner le plan d'expérience idéal. C'est gratuit, rapide et efficace.

Mais si votre projet est très complexe avec beaucoup de variables, ne vous fiez pas uniquement à l'IA pour l'instant. Gardez vos manuels de statistiques ou demandez l'aide d'un expert humain. L'IA est un excellent assistant, mais elle n'est pas encore un maître absolu pour tout.

En résumé : L'IA a prouvé qu'elle peut être un excellent "assistant de laboratoire" pour les petites expériences, mais pour les grands projets, l'humain et les méthodes classiques restent les rois.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche, rédigé en français.

Titre : Évaluation systématique des grands modèles de langage pour la construction de plans factoriels fractionnaires à deux niveaux

1. Problématique

La conception d'expériences (DoE) est un domaine statistique crucial pour l'analyse de processus complexes. Les plans factoriels fractionnaires à deux niveaux ($2^{m-p}$) sont couramment utilisés pour étudier un grand nombre de facteurs avec un nombre limité d'essais (runs). Traditionnellement, ces plans optimaux sont obtenus à partir de catalogues standardisés dans des manuels (comme Wu et Hamada, Montgomery) ou des logiciels statistiques (JMP, Minitab, R).

Cependant, l'émergence des Grands Modèles de Langage (LLM) comme ChatGPT (GPT) et Gemini a soulevé une question nouvelle : ces modèles génératifs peuvent-ils construire de tels plans statistiques de haute qualité sans assistance logicielle dédiée ? À ce jour, la qualité des plans générés par les LLM n'avait jamais été évaluée systématiquement, bien que leur potentiel soit suggéré par des interactions préliminaires.

2. Méthodologie

Les auteurs ont mené une étude comparative systématique des modèles GPT-5.1 et Gemini 2.5 Flash (les versions par défaut de leurs interfaces web au moment de la rédaction, fin 2025/début 2026).

A. Tâches et Scénarios
L'évaluation porte sur 36 tâches distinctes de construction de plans, couvrant :

• Tailles d'essais (Runs) : 8, 16 et 32.
• Nombre de facteurs (m) : De 4 à 26 facteurs.
• Pour chaque tâche, 10 exécutions indépendantes ont été réalisées pour chaque modèle, totalisant 360 designs générés par modèle.

B. Technique de Prompting (Zero-shot Chain-of-Thought)
Au lieu d'utiliser des exemples (few-shot), les auteurs ont développé un template de prompt "Zero-shot CoT" (Chain of Thought sans exemple) sophistiqué. Ce prompt intègre plusieurs techniques avancées :

1. Rôle (Persona) : Assignation du rôle d'expert en "conception d'expériences" (DoE) au modèle.
2. Contexte et Objectifs : Définition explicite de la tâche avec les critères d'optimalité : résolution maximale et aberration minimale.
3. Chaîne de pensée (CoT) : Instruction de réfléchir étape par étape ("Let's think step by step") pour décomposer le problème.
4. Format de sortie strict : Demande d'une sortie exclusive sous forme de tableau CSV (valeurs séparées par des virgules, -1 et 1), sans texte explicatif, pour faciliter l'évaluation automatisée via Python.

C. Critères d'Évaluation
Les designs générés ont été comparés aux designs optimaux de référence (catalogues de Wu et Hamada) selon trois critères :

1. Résolution : Longueur du mot le plus court dans la relation de définition (mesure de la capacité à estimer les effets principaux et les interactions sans confusion).
2. Aberration Minimale (Minimum Aberration) : Critère basé sur le motif de longueur des mots (WLP) pour minimiser la confusion des effets d'ordre inférieur.
3. Aberration de Moment Minimale (Minimum Moment Aberration) : Une alternative computationnellement moins coûteuse pour les grands nombres de facteurs, basée sur la similarité entre les lignes du plan.

3. Résultats Clés

A. Performance sur les plans à 8 runs (4 à 7 facteurs)

• Gemini 2.5 Flash : A obtenu 100 % de succès. Dans toutes les exécutions (10/10), il a généré les designs optimaux (aberration minimale) pour tous les nombres de facteurs testés.
• GPT-5.1 : A également produit des designs optimaux, mais avec une consistance légèrement inférieure (ex: 8/10 succès pour 5 facteurs, 5/10 pour 6 facteurs), bien que le meilleur design trouvé soit toujours optimal.

B. Performance sur les plans à 16 runs (5 à 15 facteurs)

• Gemini 2.5 Flash : Excellente performance pour 5 à 8 facteurs (taux de réussite ≥ 80 % pour l'aberration minimale). La performance diminue pour 11 à 15 facteurs, où le modèle peine à trouver systématiquement le design optimal.
• GPT-5.1 : Performant pour 5 à 8 facteurs (au moins 8/10 succès pour les designs optimaux). Pour plus de 8 facteurs, la qualité se dégrade et le nombre de designs non conformes (erreurs de format ou impossibilité de génération) augmente.

C. Performance sur les plans à 32 runs (6 à 26 facteurs)

• Gemini 2.5 Flash : A réussi à construire le design optimal à 32 runs et 6 facteurs dans 100 % des cas (10/10). Pour 7 et 8 facteurs, il a trouvé le design optimal au moins une fois. Au-delà de 9 facteurs, la performance chute drastiquement.
• GPT-5.1 : Moins performant que Gemini. Il a trouvé le design optimal pour 6 facteurs (6/10), mais a échoué à produire des designs optimaux de manière fiable pour les configurations plus complexes (plus de facteurs).

D. Observations Générales

• Les deux modèles ont du mal à générer des designs conformes pour un grand nombre de facteurs (>10-12), souvent en raison d'erreurs de formatage (manque de virgules, lignes incomplètes) ou d'une incapacité à trouver une solution mathématique valide.
• Gemini 2.5 Flash s'est avéré globalement supérieur à GPT-5.1 en termes de consistance et de capacité à atteindre l'optimalité, en particulier pour les configurations courantes en pratique (4 à 8 facteurs).

4. Contributions Principales

1. Première évaluation systématique : C'est la première étude à évaluer rigoureusement la capacité des LLM modernes à générer des plans factoriels fractionnaires optimaux.
2. Développement d'un Prompting Spécialisé : Création d'un template Zero-shot-CoT optimisé pour les tâches statistiques complexes, démontrant que le "rôle" et le "format de sortie" sont critiques pour la réussite.
3. Benchmarking : Établissement d'un ensemble de 36 tâches de référence (8, 16, 32 runs) pour évaluer les futurs modèles d'IA dans le domaine du DoE.
4. Analyse Comparative : Démonstration que les LLM peuvent rivaliser avec les logiciels statistiques traditionnels pour des problèmes de taille modérée (jusqu'à 8 facteurs), mais qu'ils ne sont pas encore fiables pour des problèmes à haute dimension.

5. Signification et Recommandations

• Pour la pratique : Les auteurs recommandent d'utiliser Gemini 2.5 Flash avec leur prompt spécifique pour construire des plans à 8 runs (4-7 facteurs) et des plans à 32 runs (6 facteurs). Pour des plans à 16 runs (5-8 facteurs), l'utilisation est possible mais doit être validée manuellement en raison d'un risque faible de génération de designs sous-optimaux.
• Limites : Pour des designs plus complexes (plus de facteurs ou plus de runs), les modèles actuels ne sont pas fiables. Les praticiens doivent continuer à utiliser les manuels de référence et les logiciels statistiques dédiés (JMP, Minitab, R/FrF2).
• Perspectives Futures : L'article suggère deux pistes d'amélioration :
  1. L'utilisation de prompts Few-shot avec des exemples de raisonnement (Chain-of-Thought) détaillés, bien que cela soit difficile à rédiger.
  2. L'application de la Génération Augmentée par Récupération (RAG), où le LLM aurait accès à des bases de connaissances externes (manuels, articles) sur le DoE pour améliorer la précision de ses réponses.

En conclusion, cette étude valide le potentiel des LLM comme outils d'assistance à la conception d'expériences pour des problèmes standards, tout en soulignant les limites actuelles de leur fiabilité pour des configurations statistiques complexes.