Statistical significance in choice modelling: computation, usage and reporting

Cet article propose une critique de l'utilisation excessive et parfois imprécise de la signification statistique dans la modélisation des choix, en plaidant pour une meilleure rigueur dans le calcul et le rapport des mesures d'incertitude, ainsi que pour une attention accrue portée à la signification comportementale et aux spécificités méthodologiques propres à ce domaine.

Stephane Hess, Andrew Daly, Michiel Bliemer, Angelo Guevara, Ricardo Daziano, Thijs Dekker

Publié 2026-03-10
📖 6 min de lecture🧠 Analyse approfondie

Each language version is independently generated for its own context, not a direct translation.

Voici une explication de ce papier scientifique, traduite en langage simple et imagé pour le grand public.

🚗 Le Grand Débat des Choix : Quand les Chiffres Mentent (ou presque)

Imaginez que vous êtes un chef cuisinier (l'analyste) qui essaie de comprendre pourquoi les gens préfèrent le bus à la voiture. Vous avez un livre de recettes (le modèle statistique) et vous essayez de trouver la quantité exacte de sel (le paramètre) qui rend le plat parfait.

Ce papier, écrit par une équipe d'experts, est un guide de survie pour éviter de se tromper en goûtant la soupe. Il nous dit : "Attention, ne vous fiez pas aveuglément à la petite étiquette 'Significatif' sur les ingrédients !".

Voici les 5 leçons principales, expliquées avec des métaphores :

1. La différence entre "Exister" et "Être Important"

Le problème : En science, on est obsédé par la question : "Est-ce que cet ingrédient existe vraiment ?" (Est-ce que le sel est là ?). On utilise un test magique (le test de signification statistique) qui nous dit : "Oui, c'est là, avec 95% de certitude !".
L'analogie : Imaginez que vous cherchez une aiguille dans une botte de foin. Le test vous dit : "Il y a une aiguille ici !" (C'est statistiquement significatif). Mais l'aiguille est minuscule, elle ne sert à rien pour coudre un manteau.
Le message : Ce n'est pas parce qu'un effet existe (il est différent de zéro) qu'il est important. Parfois, un effet est très petit et inutile pour la politique publique, même si le test dit qu'il est "réel". Il faut se demander : "Est-ce que ce sel change vraiment le goût du plat ?" (Importance comportementale).

2. Le piège du "Seuil Magique" (95%)

Le problème : Tout le monde utilise une règle fixe : si la probabilité d'erreur est inférieure à 5% (95% de confiance), on crie "Eureka !". Sinon, on jette l'ingrédient à la poubelle.
L'analogie : C'est comme si un juge disait : "Si vous avez 95% de chances d'être innocent, je vous libère. Si vous avez 94%, je vous condamne." C'est absurde ! La différence entre 94% et 95% est infime, mais la conséquence est énorme.
Le message : Ne soyez pas un robot qui suit une règle aveugle. Si vous avez beaucoup de données, même un petit effet passera le test. Si vous avez peu de données, un gros effet pourrait échouer. Il faut juger avec le bon sens, pas juste avec un chiffre.

3. Les "Étoiles" et les "Points d'Exclamation" (Les étoiles dans les tableaux)

Le problème : Dans les articles scientifiques, on voit souvent des tableaux remplis d'étoiles (***, **, *) pour montrer ce qui est important.
L'analogie : C'est comme un menu de restaurant où les plats sont notés avec des étoiles, mais sans dire pourquoi ni combien de calories ils ont. Si je vous dis juste "Ce plat a 3 étoiles", vous ne savez pas s'il est délicieux ou juste très salé. De plus, si on ne vous dit pas si le test était "à sens unique" (on cherche juste du sel) ou "à double sens" (on cherche du sel ou du sucre), l'étoile ne veut rien dire.
Le message : Arrêtez de se cacher derrière des étoiles. Il faut afficher les chiffres réels (l'erreur standard, le ratio t) pour que le lecteur puisse juger par lui-même. Les étoiles sont trop simplistes et cachent la précision réelle.

4. La différence entre "Significatif" et "Précis"

Le problème : On confond souvent "être sûr que ça existe" avec "savoir exactement combien ça vaut".
L'analogie : Imaginez deux archers.

  • L'archer A tire une flèche qui touche le centre de la cible (l'effet est significatif). Mais son cercle de visée est énorme : il pourrait avoir touché n'importe où entre le centre et le bord de la cible.
  • L'archer B tire une flèche qui touche le bord (l'effet est moins "significatif"), mais son cercle de visée est minuscule. On sait exactement où il a tiré.
    Le message : Un résultat peut être "statistiquement significatif" (on est sûr que ce n'est pas du hasard) mais avoir une précision terrible (on ne sait pas si la valeur est 1 ou 100). Pour prendre des décisions politiques (comme construire un pont), la précision compte plus que la simple existence.

5. Le cas des données répétées (Le voyageur et ses trajets)

Le problème : Souvent, on observe la même personne plusieurs fois (elle prend le bus lundi, mardi, mercredi). Ces choix ne sont pas indépendants.
L'analogie : C'est comme si vous demandiez à un ami : "Aimes-tu le chocolat ?". Il dit "Oui". Vous le demandez 10 fois. Il dit "Oui" 10 fois. Si vous comptez cela comme 10 opinions différentes, vous pensez que tout le monde adore le chocolat. Mais ce n'est que l'avis d'une seule personne !
Le message : Si on ne corrige pas les calculs pour tenir compte du fait que c'est la même personne qui répond, on se fait des illusions sur la précision de nos résultats. Nos "certitudes" sont fausses.

🎯 En résumé : Que faut-il retenir ?

Ce papier est un appel à la sagesse plutôt qu'à la rigidité.

  1. Arrêtez de chercher la "Significativité" comme un trophée. Cherchez l'importance réelle de l'effet.
  2. Ne soyez pas esclave du chiffre 0,05. Parfois, 0,06 est très important, parfois 0,01 ne veut rien dire.
  3. Soyez transparent. Affichez les chiffres bruts, pas juste des étoiles. Dites si vous avez fait un test à gauche, à droite ou aux deux.
  4. Pensez au "Pourquoi". Avant de jeter un paramètre parce qu'il n'est pas "significatif", demandez-vous : "Est-ce que ce paramètre a du sens pour le comportement humain ?". Si oui, gardez-le, même si les chiffres sont un peu flous.

En fin de compte, la statistique est un outil formidable, mais ce n'est pas un oracle qui a toujours raison. C'est à l'humain (l'analyste) d'utiliser son bon sens pour interpréter les chiffres, surtout quand il s'agit de décisions qui affectent la vie des gens (comme les transports ou la santé).