📊 statistics

Analytical Validation of Wistats v3.0 Through Comparison With SPSS and scikit-learn

Cette étude valide l'exactitude analytique de Wistats v3.0 en démontrant sa concordance totale avec les logiciels statistiques établis (SPSS) et les bibliothèques d'apprentissage automatique (scikit-learn) à travers divers scénarios analytiques, confirmant ainsi sa fiabilité en tant que plateforme centrée sur l'utilisateur pour un reporting scientifique automatisé et prêt pour la publication.

Auteurs originaux : Levent Korkmaz

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Levent Korkmaz

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de cuisiner un gâteau complexe, mais que vous ne savez pas si vous devez utiliser un four à gaz ou un four électrique, ni s'il faut le préchauffer. Vous avez un livre de cuisine ancien et de confiance (appelons-le SPSS) qui donne la recette exacte et les temps de cuisson, mais les instructions sont écrites dans un langage très technique et déroutant. Vous avez aussi un robot de cuisine brillant et de haute technologie (scikit-learn) qui peut cuire le gâteau parfaitement si vous le programmez avec du code, mais vous devez savoir coder pour l'utiliser.

Imaginez maintenant un nouvel assistant de cuisine amical nommé Wistats. Son rôle n'est pas d'inventer de nouvelles recettes ou de remplacer le vieux livre de cuisine ou le robot. Au contraire, il agit comme un traducteur et un guide. Il examine vos ingrédients (vos données), décide quel four et quelle recette utiliser automatiquement, cuit le gâteau, puis écrit les instructions en français simple pour que vous compreniez exactement ce qui s'est passé.

Ce document est essentiellement un « test de goût » pour voir si Wistats dit la vérité. L'auteur, le Dr Levent Korkoz (qui a également construit Wistats), voulait prouver que Wistats ne fait pas d'erreurs lorsqu'il traduit ou calcule des choses.

Voici comment ils l'ont testé, en utilisant des analogies simples :

1. La configuration : Une « cuisine d'entraînement »

Comme ils ne voulaient pas risquer de gâcher de vraies données de patients, ils ont créé un jeu de données synthétique. Considérez cela comme une « pâte d'entraînement » composée de faux chiffres représentant des choses comme l'âge, la pression artérielle et la durée de l'hospitalisation. Ils ont veillé à ce que cette pâte ait toutes sortes de textures : certaines parties étaient lisses (distribution normale), d'autres bosselées (non normales) et certaines étaient des morceaux distincts (données catégorielles comme « Homme/Femme »).

2. Le test : Le « miroir à trois faces »

Les chercheurs ont passé la même « pâte d'entraînement » à travers trois machines différentes :

SPSS : Le livre de cuisine ancien et faisant autorité (la référence pour les statistiques).
Code Python manuel : Un expert humain écrivant du code de zéro pour utiliser le robot (la référence pour le machine learning).
Wistats : Le nouvel assistant.

Ils ont posé une question simple : « Est-ce que les trois machines donnent exactement la même réponse ? »

3. Les résultats : Des miroirs parfaits

L'étude a révélé que Wistats était 100 % identique aux deux autres dans chaque test qu'ils ont essayé. Voici ce qu'ils ont vérifié :

Le « test de l'odeur » (Distribution) : Avant de cuire, vous devez savoir si votre pâte est prête. Wistats a vérifié si les données étaient « normales » ou « bizarres », tout comme SPSS le faisait. Ils se sont mis d'accord sur chaque ingrédient.
Le « test de comparaison » (Statistiques) : Ils ont demandé : « Le groupe A est-il différent du groupe B ? » Que ce soit un test t, un test du chi-deux ou une ANOVA, Wistats a donné la même réponse « Oui/Non » et les mêmes chiffres que le livre de cuisine SPSS.
Le « test de prédiction » (Machine Learning) : Ils ont essayé de prédire des choses comme « Ce patient répondra-t-il au traitement ? » ou « Combien de temps restera-t-il à l'hôpital ? ». Wistats a utilisé les mêmes algorithmes (comme les machines à vecteurs de support ou les forêts aléatoires) que le codeur humain. Les scores de précision, les taux d'erreur et les prédictions étaient identiques.

4. La « sauce spéciale » : Pas de « magie » ni de « devinettes »

L'un des points les plus importants que souligne le document concerne la manière dont Wistats décide quoi faire.

Certains nouveaux outils d'IA utilisent des « modèles de langage étendus » (comme un chatbot très intelligent mais qui hallucine parfois) pour deviner l'analyse dont vous avez besoin.
Wistats ne fait pas cela. Il utilise un livre de règles. Considérez cela comme un système de feux de signalisation : « Si les données sont rouges (non normales), arrêtez-vous et utilisez le test de Mann-Whitney. Si elles sont vertes (normales), allez-y et utilisez le test t. »
Parce qu'il suit des règles strictes et ne fait pas de « devinettes », si vous mettez les mêmes données deux fois, vous obtenez exactement le même résultat deux fois. Cela le rend reproductible et transparent.

5. Le but : Rendre le gâteau accessible

Le document conclut que Wistats ne cherche pas à remplacer les chefs experts (statisticiens) ou les robots puissants (programmeurs). Au lieu de cela, il cherche à aider les cuisiniers amateurs (les chercheurs qui ne sont pas des experts en mathématiques ou en codage).

Il prend les chiffres techniques et effrayants et les transforme en récits narratifs (par exemple : « Le groupe de traitement est resté à l'hôpital de manière significativement plus courte que le groupe témoin »).
Il crée automatiquement des tableaux qui semblent prêts à être collés dans un article scientifique.

L'essentiel

Le document affirme que Wistats v3.0 est un traducteur fiable et honnête. Il prend des données complexes, les fait passer par des moteurs mathématiques établis et de confiance (les mêmes que SPSS et Python utilisent), et présente les résultats d'une manière facile à lire et à rédiger. Le « test de goût » a prouvé que le nouvel assistant ne change pas la saveur du gâteau ; il le sert simplement sur une plus belle assiette avec une description plus claire.

Une note sur les limites : Le document admet que ce test a été réalisé sur une « pâte d'entraînement » (données synthétiques) et n'a testé que certains types de recettes spécifiques. Il n'a pas testé toutes les méthodes statistiques possibles au monde, mais pour celles qu'ils ont essayées, les résultats étaient des correspondances parfaites.

Résumé technique : Validation analytique de Wistats v3.0

Énoncé du problème
La recherche scientifique contemporaine repose de plus en plus sur des structures de données hétérogènes et des flux de travail analytiques complexes, pourtant la sélection de méthodes statistiques appropriées et l'interprétation précise des résultats demeurent des défis importants, particulièrement pour les chercheurs dépourvus de formation formelle en biostatistique ou en programmation. Les progiciels conventionnels (par exemple, SPSS, R, Stata) et les bibliothèques d'apprentissage automatique (par exemple, scikit-learn) offrent des capacités robustes mais exigent souvent une sélection manuelle des tests, une expertise méthodologique approfondie et des efforts considérables pour transformer les sorties techniques en formats prêts pour la publication. Ce processus manuel introduit des risques d'erreurs méthodologiques, de sélection de tests inappropriés et d'incohérences dans le reporting, ce qui peut compromettre la reproductibilité et la fiabilité des conclusions publiées. De plus, bien que l'intelligence artificielle générative soit apparue comme un outil d'interprétation, sa nature probabiliste soulève des préoccupations concernant les hallucinations et la reproductibilité dans les contextes scientifiques. Il existe un besoin pour un environnement analytique qui intègre la sélection automatisée de tests, une interprétation déterministe et des flux de travail d'apprentissage automatique reproductibles sans sacrifier la rigueur méthodologique.

Méthodologie
Cette étude a évalué la validité analytique de Wistats v3.0, une plateforme basée sur Python développée par WisdomEra, en comparant ses sorties avec des environnements de référence établis. Le cadre de validation a utilisé un ensemble de données synthétiques intentionnellement conçu pour englober un large spectre de scénarios analytiques, incluant des variables continues normalement et non normalement distribuées, des variables catégorielles binaires et multiclasses, ainsi que des applications de modélisation prédictive.

Le processus de validation a été divisé en cinq domaines :

Évaluation distributionnelle : La normalité a été évaluée à l'aide des statistiques de Shapiro–Wilk, de l'asymétrie (skewness) et de l'aplatissement (kurtosis). Les sorties de Wistats ont été comparées à IBM SPSS Statistics version 32.0.
Analyses statistiques comparatives : L'étude a validé les tests t pour échantillons indépendants, les tests de Mann–Whitney U, les corrélations de Pearson et de Spearman, l'ANOVA à un facteur, les tests de Kruskal–Wallis et les analyses du chi carré de Pearson par rapport à SPSS.
Régression logistique multivariée : Les coefficients de régression, les rapports de côtes (odds ratios), les intervalles de confiance et les niveaux de signification ont été comparés aux sorties de SPSS.
Classification par apprentissage automatique : Les modèles de prédiction de la réponse au traitement (utilisant les machines à vecteurs de support, les forêts aléatoires et la régression logistique) ont été validés par rapport à des flux de travail scikit-learn (version 1.7.2) implémentés manuellement en Python. Les métriques comprenaient l'exactitude (accuracy), l'exactitude en validation croisée et les scores F1.
Régression par apprentiment automatique : Les modèles prédisant la durée de séjour à l'hôpital ont été validés contre des implémentations manuelles de scikit-learn en utilisant le $R^2$ , l'erreur absolue moyenne (MAE) et l'erreur quadratique moyenne (RMSE).

Wistats v3.0 fonctionne comme une couche d'interface utilisant des bibliothèques de calcul scientifique établies (SciPy, statsmodels, scikit-learn). Crucialement, ses moteurs de sélection de tests et d'interprétation automatisés reposent sur des algorithmes déterministes basés sur des règles plutôt que sur des modèles de langage de grande taille ou de l'IA générative, garantissant que des entrées identiques produisent systématiquement des sorties identiques. L'accord a été défini comme des sorties analytiques identiques après arrondi numérique.

Contributions clés

Sélection automatisée de tests : L'étude démontre un cadre basé sur des règles qui sélectionne automatiquement les tests statistiques appropriés (paramétriques vs non paramétriques) en fonction des types de variables, des hypothèses de distribution (Shapiro–Wilk, asymétrie, aplatissement) et des structures de groupe, réduisant ainsi la charge de la prise de décision manuelle.
Interprétation et reporting déterministes : Contrairement aux systèmes d'IA générative, Wistats utilise une génération de récits basée sur des modèles et la création de tableaux structurés. Cette approche assure la transparence et la reproductibilité, transformant les sorties techniques en résumés prêts pour la publication sans variabilité probabiliste.
Validation intégrée : L'article fournit une validation complète à la fois des procédures statistiques traditionnelles et des flux de travail d'apprentissage automatique au sein d'une seule plateforme, confirmant que la couche d'intégration n'introduit pas de disparités de calcul lorsqu'elle est comparée aux implémentations de référence standards de l'industrie.

Résultats
L'étude a rapporté un accord de 100 % entre Wistats v3.0 et les environnements de référence dans tous les scénarios évalués :

Analyse distributionnelle : Les évaluations de normalité (p-values de Shapiro–Wilk, asymétrie et aplatissement) étaient identiques entre Wistats et SPSS pour toutes les variables.
Statistiques comparatives : Toutes les procédures comparatives (tests t, Mann–Whitney U, chi carré, ANOVA, Kruskal–Wallis et corrélations) ont produit des p-values identiques entre Wistats et SPSS.
Régression logistique : Les coefficients de régression, les rapports de côtes, les intervalles de confiance et les niveaux de signification correspondaient exactement aux sorties de SPSS.
Classification par apprentissage automatique : Les métriques de performance prédictive (exactitude, exactitude en validation croisée, score F1) pour les modèles de prédiction de la réponse au traitement variaient de 0,66 à 0,70 en exactitude. Toutes les métriques étaient identiques entre Wistats et les implémentations manuelles de scikit-learn.
Régression par apprentissage automatique : Les modèles de prédiction de la durée de séjour à l'hôpital présentaient des valeurs de $R^2$ entre −0,01 et 0,01, avec une MAE allant de 2,98 à 3,28 et une RMSE de 4,00 à 4,06. Tous les indicateurs de performance étaient identiques entre Wistats et scikit-learn.

Signification et affirmations
Les auteurs concluent que Wistats v3.0 représente un environnement analytique fiable, reproductible et centré sur l'utilisateur. La principale importance de la plateforme ne réside pas dans le développement de nouvelles méthodologies statistiques, mais dans sa capacité à faciliter l'interprétation et le reporting scientifique pour des utilisateurs ayant des niveaux d'expertise variés. En automatisant la sélection des tests et en générant des récits et des tableaux prêts pour la publication via des règles déterministes, Wistats vise à réduire la complexité technique et les erreurs méthodologiques tout en maintenant une cohérence stricte avec les bibliothèques de statistiques et d'apprentissage automatique établies.

L'article affirme modestement que Wistats est conçu pour compléter, plutôt que pour remplacer, les logiciels statistiques complets ou les environnements de programmation avancés. Il se positionne comme un outil pour améliorer l'accessibilité et la reproductibilité dans la communication scientifique, particulièrement pour les chercheurs qui nécessitent des flux de travail analytiques robustes mais peuvent manquer de compétences étendues en programmation. L'étude souligne que si la plateforme automatise les découvertes analytiques individuelles et le reporting, la synthèse des preuves, la génération d'hypothèses et l'interprétation scientifique globale restent de la responsabilité de l'enquêteur. Une validation future utilisant des ensembles de données réels à grande échelle et des environnements analytiques diversifiés est suggérée pour confirmer davantage la généralisabilité de la plateforme.