A Boundary-Metric Evaluation Protocol for Whiteboard Stroke Segmentation Under Extreme Imbalance

Cet article propose un protocole d'évaluation complet intégrant des métriques de frontière et une analyse d'équité pour les sous-ensembles fins, démontrant que les fonctions de perte basées sur le chevauchement et l'augmentation de la résolution améliorent significativement la segmentation des traits de tableau blanc en situation de déséquilibre extrême, au détriment parfois de la performance moyenne mais avec une fiabilité supérieure dans les cas les plus défavorables par rapport aux méthodes classiques.

L'essentiel

Le Problème : Trouver l'aiguille dans la botte de foin (mais l'aiguille est un fil d'araignée)

Imaginez que vous avez une immense photo d'un tableau blanc. Sur ce tableau, quelqu'un a écrit quelques mots avec un feutre fin.

• Le défi : Le fond du tableau (le blanc) représente 98% de l'image. Les traits du feutre (le texte) ne représentent que 2%. C'est une inégalité extrême.
• L'erreur classique : Si vous demandez à un ordinateur de deviner, il peut simplement dire "C'est tout blanc !" et avoir raison 98% du temps. C'est facile, mais inutile ! Le but est de retrouver les 2% de texte.
• Le piège : Les traits sont si fins qu'ils ressemblent à des cheveux. Si l'ordinateur les rate, le résultat est illisible. De plus, les méthodes classiques de mesure (qui regardent la "surface" totale) sont aveugles à ces détails : elles disent "Bravo, c'est bien" alors que les contours sont tout en dents de scie ou manquants.

La Solution : Une nouvelle règle du jeu

L'auteur, Nicholas, propose de changer la façon dont on évalue les performances de l'ordinateur. Au lieu de juste compter les pixels blancs et noirs, il introduit trois nouveautés :

1. Le "Loup-Garou" des contours : Il ne suffit pas de deviner la bonne couleur, il faut que le contour du trait soit net. Imaginez que vous devez découper une forme dans du papier. Si vous êtes à 1 mm près, ce n'est pas grave. Mais si vous coupez à 10 mm près, vous avez raté le dessin. L'auteur utilise des règles qui punissent ces erreurs de "découpe".
2. L'équité entre gros et petits : Il vérifie si l'ordinateur traite aussi bien les gros traits gras que les traits de feutre ultra-fins. Souvent, les modèles oublient les petits traits.
3. La régularité avant la perfection : Il ne regarde pas seulement la moyenne des résultats, mais aussi le pire cas. Est-ce que l'ordinateur fonctionne bien tout le temps, ou seulement quand la lumière est parfaite ?

Les Résultats : Qui gagne la partie ?

L'auteur a testé plusieurs "recettes" (des formules mathématiques appelées "fonctions de perte") pour entraîner l'ordinateur.

• Les perdants (Les méthodes classiques) : Les méthodes traditionnelles (comme la "Cross-Entropy") sont comme un élève qui triche. Elles apprennent à ignorer le texte pour maximiser leur note globale. Résultat : elles ratent les traits fins.
• Les gagnants (Les méthodes "Dice" et "Tversky") : Ces nouvelles recettes forcent l'ordinateur à se concentrer sur les zones difficiles (le texte).
  • L'analogie : Imaginez un pêcheur. La méthode classique pêche tout ce qui flotte (le fond blanc) et ignore les petits poissons. La méthode "Dice" ajuste son filet pour ne pas rater les petits poissons, même si cela signifie qu'il attrape un peu moins de gros poissons.
  • Le résultat : Ces méthodes améliorent la qualité de la détection de plus de 20 points ! C'est énorme.

Le Duel : L'Intelligence Artificielle vs. Les Vieilles Méthodes

L'auteur a aussi comparé son modèle d'IA avec des méthodes "classiques" (des algorithmes simples qui existent depuis longtemps, comme la méthode "Sauvola").

• Le paradoxe : Les méthodes classiques ont une moyenne de réussite plus élevée. Elles sont excellentes sur les tableaux bien éclairés.
• Le revers de la médaille : Elles sont très fragiles. Si la lumière change un peu ou s'il y a une ombre, elles s'effondrent complètement (elles inventent du texte là où il n'y en a pas, ou ratent tout).
• La force de l'IA : Le modèle d'IA a une moyenne légèrement inférieure, mais il est incroyablement stable. Même dans les pires conditions (lumière mauvaise, traits très fins), il ne tombe jamais en dessous d'un niveau acceptable.
  • Analogie : C'est la différence entre un coureur de 100m qui fait un temps record un jour sur deux, mais qui trébuche souvent, et un marathonien qui court à un rythme constant, sans jamais s'arrêter. Pour un système de numérisation de tableau, on veut le marathonien (l'IA), pas le coureur imprévisible.

Le Secret Caché : La Résolution compte !

L'auteur a découvert un détail crucial : la taille de l'image.
Si on entraîne l'ordinateur sur une image trop petite, les traits fins deviennent invisibles (comme un pixel). En doublant la taille de l'image d'entraînement, les performances explosent. C'est comme passer d'une photo floue à une photo HD : soudain, l'ordinateur peut voir les détails.

En Résumé

Cette recherche nous dit trois choses importantes pour ceux qui veulent numériser des tableaux blancs :

1. Ne vous fiez pas aux moyennes : Regardez toujours comment le système se débrouille dans les pires cas.
2. Choisissez la bonne "recette" : Utilisez des méthodes spécialisées (comme Tversky ou Dice) qui forcent l'ordinateur à ne pas ignorer les petits détails.
3. La stabilité est reine : Un système qui est "parfait" 80% du temps mais catastrophique 20% du temps est inutile. Mieux vaut un système "très bon" 100% du temps.

C'est un travail de précision pour s'assurer que quand vous prenez une photo de votre tableau blanc, l'ordinateur ne vous renvoie pas une page blanche, mais votre cours parfaitement retranscrit, même si le feutre était fin et la lumière mauvaise.

Résumé technique

1. Problématique

L'extraction numérique du contenu des tableaux blancs (whiteboard digitization) est une tâche cruciale pour les environnements d'apprentissage hybride. Cependant, la segmentation binaire des traits d'écriture se heurte à deux défis majeurs :

• Déséquilibre de classes extrême : Les pixels de traits (premier plan) ne représentent en moyenne que 1,79 % de l'image (avec un sous-ensemble de traits très fins descendant à 1,14 %). Un classifieur trivial prédisant uniquement l'arrière-plan atteint une précision pixelique de plus de 98 %, rendant les métriques standards et les fonctions de perte classiques (comme la perte d'entropie croisée) inefficaces.
• Échec sur les structures fines : Les traits fins sont souvent érodés lors du sous-échantillonnage ou ignorés par les fonctions de perte qui pondèrent également tous les pixels, car la majorité de l'arrière-plan domine le gradient. Les métriques régionales classiques (F1, IoU) masquent souvent la mauvaise qualité des contours, ce qui est critique pour la fidélité des traits fins.

2. Méthodologie

L'auteur propose une approche rigoureuse combinant une architecture légère, une comparaison de fonctions de perte et un nouveau protocole d'évaluation.

• Architecture : Utilisation de DeepLabV3 avec un backbone MobileNetV3-Large (environ 11M de paramètres), choisi pour sa légèreté et sa capacité à être déployé sur du matériel grand public en temps réel.
• Fonctions de perte comparées : Cinq fonctions sont testées sur 34 images originales (augmentées à 374 échantillons) :
  1. Entropie croisée (Cross-Entropy - CE).
  2. Focal Loss.
  3. Dice Loss.
  4. Combinaison Dice + Focal.
  5. Tversky Loss (biaisée vers le rappel).
• Protocole d'évaluation innovant :
  • Métriques de contour : Introduction de métriques spécifiques aux contours : BF1 (Boundary F1) et B-IoU (Boundary IoU), qui évaluent la précision uniquement sur une bande étroite autour du contour, plutôt que sur toute la surface.
  • Analyse d'équité (Core vs Thin) : Séparation des images de test en deux groupes : « Core » (traits épais) et « Thin » (traits très fins, ~11 px de largeur). Cela permet de mesurer si une fonction de perte traite équitablement les structures fines.
  • Robustesse statistique : Entraînement avec trois graines aléatoires différentes, suivi de tests de signification non paramétriques (test de Wilcoxon signé avec correction de Bonferroni) et analyse des statistiques par image (médiane, écart interquartile - IQR, et pire cas).
  • Comparaison avec des baselines classiques : Évaluation de méthodes de seuillage classiques (Adaptive, Otsu, Sauvola) à la résolution native pour comparer l'apprentissage profond aux approches traditionnelles.

3. Contributions Clés

1. Protocole d'évaluation complet : Un cadre qui ne se contente pas de la moyenne F1, mais intègre des métriques de contour, une analyse d'équité entre traits fins/épais et des statistiques de robustesse (pire cas).
2. Preuve de l'inefficacité des pertes basées sur la distribution : Démonstration que les pertes classiques (CE, Focal) échouent systématiquement dans ce contexte de déséquilibre extrême.
3. Analyse du compromis Cohérence-Précision : Mise en évidence du fait que les méthodes classiques (Sauvola) peuvent avoir une moyenne F1 supérieure, mais avec une variabilité et un pire cas bien pires que les modèles appris.
4. Reproductibilité : Code, scripts d'évaluation et poids de modèles publics, avec une méthodologie déterministe stricte.

4. Résultats Principaux

• Supériorité des pertes basées sur le chevauchement : Les pertes de la famille Dice (Dice, Dice+Focal, Tversky) surpassent massivement l'entropie croisée et le Focal Loss.
  • Gain de F1 > 20 points : Tversky atteint 0,663 contre 0,438 pour CE ($p < 0.001$).
  • Les pertes Dice réduisent l'écart de performance entre les traits épais et fins de moitié (écart de ~0,06 contre ~0,10 pour CE).
• Importance des métriques de contour : Les métriques BF1 et B-IoU révèlent des différences subtiles entre les variantes de la famille Dice que les métriques régionales masquent (ex: Dice+Focal offre des contours plus nets, Tversky un meilleur chevauchement global).
• Impact de la résolution : Doubler la résolution d'entraînement (de 1024x768 à 1536x1152) augmente le F1 de 12,7 points et le BF1 de 18,5 points, confirmant que la résolution est un goulot d'étranglement critique pour les traits fins.
• Compromis Cohérence-Précision (Learned vs Classical) :
  • Le seuillage Sauvola obtient la meilleure moyenne F1 (0,787) mais un pire cas de 0,452 (échec catastrophique sur certains tableaux).
  • Le modèle Tversky a une moyenne F1 plus basse (0,663) mais un pire cas de 0,565 et un IQR beaucoup plus faible (plus prévisible).
  • Conclusion : Pour l'archivage par lots, Sauvola suffit ; pour la capture en temps réel, le modèle appris est préférable pour sa fiabilité.

5. Signification et Implications

Ce travail démontre que dans les scénarios de segmentation à déséquilibre extrême (comme les traits de tableau blanc), le choix de la fonction de perte est plus déterminant que l'architecture du modèle.

• Pour la recherche : Il établit que les métriques régionales standards sont insuffisantes pour évaluer la segmentation de structures fines et plaide pour l'adoption systématique de métriques de contour (BF1, B-IoU) et d'analyses de robustesse (pire cas).
• Pour l'industrie : Il fournit des directives pratiques : utiliser des pertes basées sur le chevauchement (Dice/Tversky) plutôt que l'entropie croisée, et privilégier les modèles appris pour leur stabilité face aux conditions d'éclairage variables, même si leur précision moyenne est inférieure à celle des algorithmes classiques sur des images faciles.
• Limites et perspectives : L'étude se limite à une architecture légère et à une résolution maximale de 1536x1152. Le travail futur devrait explorer des résolutions natives (par patchs) et des architectures plus récentes (Transformers) pour combler l'écart avec les méthodes classiques sur les images haute résolution.

En résumé, l'article propose un changement de paradigme dans l'évaluation de la segmentation : passer d'une optimisation de la moyenne globale à une optimisation de la fiabilité et de la fidélité des contours, essentielle pour les applications réelles de numérisation de tableaux blancs.