💻 computer science

Statistical Confidence in Functional Correctness: An Approach for AI Product Functional Correctness Evaluation

Cet article propose et évalue l'approche SCFC, une méthode statistique qui transforme l'évaluation de la correction fonctionnelle des systèmes d'IA en une mesure de confiance statistique robuste, comblant ainsi le manque d'outils pratiques dans les normes actuelles comme l'ISO/IEC 25059.

Auteurs originaux : Wallace Albertini, Marina Condé Araújo, Júlia Condé Araújo, Antonio Pedro Santos Alves, Marcos Kalinowski

Publié 2026-02-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wallace Albertini, Marina Condé Araújo, Júlia Condé Araújo, Antonio Pedro Santos Alves, Marcos Kalinowski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le chef d'un grand restaurant. Vous avez un nouveau chef cuisinier (votre système d'Intelligence Artificielle) qui doit préparer des milliers de plats. Le problème ? Ce chef est un peu imprévisible. Parfois, il fait un plat parfait, parfois il rate légèrement l'assaisonnement.

Comment savez-vous si vous pouvez le garder en poste ? Si vous ne goûtez que un seul plat et qu'il est bon, vous pourriez penser qu'il est excellent. Mais si vous ne goûtez que ce seul plat, vous ignorez s'il va rater le prochain. C'est exactement le défi que rencontrent les entreprises avec l'IA : comment être sûr que l'IA fonctionne bien, et pas juste par chance ?

Voici une explication simple de la méthode proposée par les auteurs de cet article, appelée SCFC (Confiance Statistique dans la Correction Fonctionnelle).

1. Le Problème : Le "Point de Vue" Trompeur

Habituellement, on dit : "Mon IA a 83 % de réussite !". C'est comme dire : "Ce chef a fait un plat parfait".
Mais c'est trompeur. Et si la prochaine fois, il ne réussit que 60 % du temps ? Si votre règle est de ne jamais avoir moins de 70 % de réussite, ce chef est dangereux, même si sa moyenne est de 83 %.

L'article propose de passer d'une simple moyenne (un point) à une zone de sécurité (une plage de confiance).

2. La Méthode SCFC : Les 4 Étapes de la "Cuisine de la Confiance"

Les auteurs proposent une recette en 4 étapes pour évaluer si l'IA est vraiment fiable.

Étape 1 : Définir la "Règle du Jeu" (Les Limites)

Avant de cuisiner, il faut savoir ce qui est acceptable.

L'analogie : Vous dites au chef : "Pour que le plat soit servi, il doit avoir au moins 70 % de réussite (c'est la limite basse). S'il rate plus de 30 %, on le renvoie."
Dans l'IA : On fixe un objectif chiffré avec les patrons de l'entreprise (ex: "L'IA doit détecter 98 % des fraudes").

Étape 2 : Le "Panier de Courses" Intelligent (L'Échantillonnage)

On ne peut pas goûter tous les plats du monde. On doit en goûter un échantillon. Mais attention, si on ne goûte que les desserts, on ne sait pas si le chef sait faire les entrées !

L'analogie : Au lieu de prendre des plats au hasard, on s'assure de goûter un peu de tout : des plats salés, des plats sucrés, des plats pour les enfants, des plats pour les adultes. On crée un "panier représentatif".
Dans l'IA : On choisit des données de test qui ressemblent exactement à la réalité (des fraudes rares, des situations normales, etc.) pour ne pas avoir un faux sentiment de sécurité.

Étape 3 : Le "Jeu de l'Imagination" (Le Bootstrap)

C'est l'étape la plus magique. Au lieu de regarder une seule fois le résultat, on imagine que l'on refait l'expérience 1 000 fois avec le même panier de plats.

L'analogie : Imaginez que vous prenez votre panier de plats, vous le mélangez, vous en sortez un nouveau panier, vous le goûtez, puis vous remettez les plats et vous recommencez. Vous faites cela 1 000 fois.
Le résultat : Vous voyez que parfois le chef fait 85 % de réussite, parfois 72 %, parfois 78 %. Vous obtenez une fourchette (par exemple : "Entre 71 % et 92 %").
Pourquoi c'est génial ? Cela vous dit : "Même dans le pire des cas (71 %), le chef est encore au-dessus de votre limite de 70 %". C'est beaucoup plus rassurant que de dire "En moyenne, c'est 83 %".

Étape 4 : Le "Jauge de Sécurité" (L'Indice de Capacité)

Enfin, on calcule un seul chiffre, un peu comme un thermomètre de fiabilité, appelé Cpk.

L'analogie :
- Si le thermomètre est en dessous de 1,0 : DANGER ! Le chef est trop proche de la limite. Un petit vent de panique et il va rater.
- Si le thermomètre est autour de 1,0 : À LA LIMITE. On peut l'accepter, mais il faut le surveiller de très près.
- Si le thermomètre est au-dessus de 2,0 : EXCELLENT ! Le chef a une marge de sécurité énorme. On peut le laisser travailler tranquille.

3. Ce que les Experts en Ont Pensé

Les auteurs ont testé cette méthode sur deux vrais systèmes :

Un robot qui regarde les camions de pétroliers pour voir s'il y a de la place (comme un radar de parking).
Un détecteur de fraude bancaire (comme un garde du corps pour votre carte de crédit).

Ils ont ensuite demandé à 4 experts (des chefs cuisiniers de l'IA) ce qu'ils en pensaient.

Verdict : Ils ont adoré !
Pourquoi ? Parce que cela remplace le "je pense que ça va bien" par "les chiffres montrent que nous avons 95 % de chances que ça fonctionne".
Le seul petit bémol : Certains ont dit que c'est un peu technique au début (comme apprendre à utiliser un nouveau robot de cuisine), mais une fois qu'on y est, c'est très utile.

En Résumé

Cette méthode nous dit : Ne vous fiez pas à la moyenne, fiez-vous à la marge de sécurité.

Au lieu de dire "Mon IA est bonne", on dit maintenant : "Mon IA a une confiance statistique de 95 % qu'elle restera au-dessus de nos exigences, même dans les pires scénarios." C'est comme passer d'une simple promesse à un contrat de sécurité solide.

1. Problématique

L'évaluation de la qualité des systèmes d'Intelligence Artificielle (IA) constitue un défi majeur en ingénierie logicielle en raison de leur nature intrinsèquement probabiliste et adaptative, contrairement aux systèmes logiciels traditionnels déterministes.

Limites des approches actuelles : Les méthodologies de test classiques et les standards comme ISO/IEC 25059 (adaptation du modèle de qualité ISO/IEC 25010 pour l'IA) manquent souvent de méthodes pratiques et statistiquement robustes pour évaluer la correction fonctionnelle.
Le problème de l'estimation ponctuelle : Les évaluations actuelles reposent souvent sur des estimations ponctuelles (ex: une précision moyenne de 83 %). Cette approche masque la variabilité des performances et peut créer un faux sentiment de confiance, ne permettant pas de quantifier le risque que le système échoue à respecter les exigences métier dans des conditions réelles.
Le problème de l'oracle : La définition de la « sortie correcte » est souvent incertaine ou approximative dans le contexte de l'IA, rendant les tests traditionnels inadéquats.

2. Méthodologie : L'approche SCFC

Les auteurs proposent l'approche Statistical Confidence in Functional Correctness (SCFC), qui intègre l'échantillonnage statistique, l'inférence et l'analyse de capacité pour passer d'une estimation ponctuelle à une déclaration de confiance statistique. L'approche se déroule en quatre étapes séquentielles :

Définition des limites de spécification fonctionnelle :
- Traduction des besoins métier en critères d'acceptation objectifs et mesurables.
- Définition d'une Limite de Spécification Inférieure (LSL) (ex: rappel > 95 %) ou d'une Limite de Spécification Supérieure (USL) (ex: taux de faux positifs < 10 %).
Échantillonnage stratifié et probabiliste :
- Collecte d'un échantillon de test représentatif de la distribution des données réelles en production.
- Utilisation de l'échantillonnage stratifié (avec l'aide d'experts du domaine) pour identifier des sous-populations hétérogènes (ex: type de transaction, région) et garantir que les groupes minoritaires mais critiques sont correctement représentés, évitant ainsi les biais de sélection.
Application du Bootstrapping et calcul des intervalles de confiance :
- Utilisation de la technique de rééchantillonnage non paramétrique Bootstrapping (1000 itérations) sur l'échantillon de test initial.
- Cela permet de générer une distribution empirique de la métrique de performance et de calculer un Intervalle de Confiance (IC) (généralement à 95 %).
- L'objectif est de quantifier l'incertitude : au lieu d'un seul chiffre, on obtient une plage de valeurs plausibles pour la performance réelle du système.
Calcul et analyse de l'indice de capacité ( $C_{pk}$ ) :
- Calcul d'un indice de capacité adapté de la méthodologie Six Sigma, mais utilisant les bornes de l'intervalle de confiance plutôt que l'écart-type classique (pour gérer les distributions non normales).
- Formule simplifiée pour une limite inférieure (LSL) : $C_{pl} = \frac{\text{Moyenne} - LSL}{\text{Moyenne} - \text{Borne inférieure de l'IC}}$ .
- L'indice final $C_{pk}$ est le minimum des indices calculés pour les limites supérieures et inférieures.
- Interprétation :
  - $C_{pk} < 1.0$ : Inacceptable (risque élevé de non-respect).
  - $C_{pk} = 1.0$ : Capacité minimale (à la limite).
  - $C_{pk} > 2.0$ : Excellent (grande marge de sécurité).

3. Contributions Clés

Opérationnalisation de la correction fonctionnelle : Transformation d'un concept abstrait (qualité de l'IA) en une métrique quantitative et décisionnelle.
Intégration de l'incertitude : Passage d'une vision déterministe à une vision probabiliste, quantifiant explicitement le risque de déploiement.
Indice de capacité adapté à l'IA : Une adaptation de la métrique $C_{pk}$ qui ne suppose pas la normalité des données, rendant l'approche robuste pour les métriques d'IA.
Validation empirique : Application concrète sur des systèmes industriels réels, comblant le fossé entre la théorie des standards et la pratique industrielle.

4. Résultats de l'Étude de Cas

L'approche a été évaluée sur deux systèmes IA réels et validée par des entretiens avec quatre experts de l'industrie.

Cas 1 : Estimation de l'espace de chargement (Plateformes pétrolières)

Objectif : Estimer l'espace libre sur un pont de chargement.
Exigence : Taux de prédiction correcte $\ge$ 70 %.
Résultat brut : 83 % de réussite.
Analyse SCFC : L'intervalle de confiance à 95 % était [71,4 % ; 92,9 %].
Indice $C_{pk}$ : 1,12.
Conclusion : Bien que la moyenne (83 %) semble bonne, la borne inférieure (71,4 %) est très proche de la limite (70 %). Le système est techniquement « capable » mais avec une marge de sécurité faible, nécessitant une surveillance continue.

Cas 2 : Détection de fraude par carte de crédit

Objectif : Identifier les transactions frauduleuses.
Exigence : Rappel (Recall) $\ge$ 98 %.
Résultat brut : 99,1 % de rappel.
Analyse SCFC : Intervalle de confiance à 95 % [98,55 % ; 99,67 %].
Indice $C_{pk}$ : 1,98.
Conclusion : La borne inférieure (98,55 %) est confortablement au-dessus de la limite (98 %). Le système est considéré comme excellent et prêt pour la production avec une haute confiance.

Retours des experts (Entretiens) :

Acceptation élevée : Les experts ont jugé l'approche utile, robuste et facile à utiliser (faible courbe d'apprentissage sauf pour le bootstrapping).
Utilité perçue : L'approche aide à définir les attentes des parties prenantes et à prendre des décisions de déploiement éclairées.
Limites notées : La dépendance à la qualité des données initiales et la nécessité de définir des limites de spécification claires (difficile dans des problèmes très abstraits).

5. Signification et Impact

Cet article propose un changement de paradigme dans l'évaluation de la qualité des logiciels d'IA.

De la mesure à la confiance : Il permet de passer d'une simple mesure de performance (« le modèle est précis à 83 % ») à une affirmation de confiance statistique (« nous avons 95 % de confiance que le modèle respecte les exigences métier avec une marge de sécurité de X »).
Support décisionnel : L'indice $C_{pk}$ offre un indicateur unique et interprétable pour les équipes MLOps et les décideurs métier, facilitant la gestion des risques de déploiement.
Alignement avec les standards : L'approche fournit la méthodologie pratique manquante pour implémenter efficacement les normes comme ISO/IEC 25059 dans l'industrie.

En conclusion, l'approche SCFC se positionne comme une méthode viable et précieuse pour opérationnaliser l'évaluation de la correction fonctionnelle des systèmes d'IA, en intégrant rigoureusement l'incertitude inhérente à l'intelligence artificielle dans le cycle de vie du développement logiciel.