Active Learning for Cascaded Object Detection: Balancing Coverage and Uncertainty in Table Extraction Pipelines

Résumé Technique : Apprentissage Actif pour la Détection d'Objets en Cascade dans l'Extraction de Tableaux

Définition du Problème
L'extraction de tableaux à partir de documents commerciaux repose généralement sur un pipeline en cascade comprenant deux étapes : la Détection de Tableaux (TD), qui localise les tableaux dans une page de document, et la Reconnaissance de la Structure de Tableaux (TSR), qui récupère la disposition interne (lignes, colonnes, en-têtes) des régions détectées. La construction des ensembles d'entraînement pour ce pipeline est coûteuse, particulièrement pour la TSR, qui nécessite des annotations structurelles fines par rapport à la simple boîte englobante requise pour la TD. Bien que l'Apprentissage Actif (AL) offre une approche structurée pour réduire la charge d'annotation en sélectionnant les échantillons les plus informatifs, les stratégies existantes sont principalement conçues pour des tâches à modèle unique. Elles ne parviennent pas à prendre en compte les dépendances structurelles dans les architectures en cascade, où la performance de la TSR est strictement limitée par la qualité des prédictions de la TD en amont. De plus, les deux étapes diffèrent par leur portée d'entrée (page complète vs tableau découpé) et leur complexité de tâche, ce qui suggère qu'elles peuvent nécessiter des signaux d'entraînement différents et ne s'améliorent pas au même rythme à mesure que les données sont ajoutées.

Méthodologie
Les auteurs adaptent l'Uncertainty Herding (UHerding), une méthode d'échantillonnage hybride qui équilibre la couverture (diversité) et l'incertitude, au contexte de l'extraction de tableaux en cascade. L'adaptation centrale consiste à modifier les composantes de couverture et d'incertitude pour gérer plusieurs étapes possédant des espaces de plongement (embeddings) distincts.

1. Adaptation de l'UHerding Généralisée :

   • Plongement (Embedding) : Au lieu de caractéristiques d'images naturelles, un encodeur d'images de documents pré-entraîné (DiT) est utilisé pour générer des représentations au niveau du document.
   • Incertitude : Un signal d'incertitude combiné est dérivé des scores de confiance des modèles TD et TSR. Si les prédictions tombent sous un certain seuil, l'incertitude est fixée par défaut à 1.
   • Calibration : Pour pallier l'absence de formulations standard de l'Erreur de Calibration Attendue (ECE) pour la détection d'objets, les auteurs utilisent la corrélation de Spearman entre l'incertitude et l'erreur de prédiction (GriTS-Con F1) sur un ensemble de validation pour ajuster dynamiquement l'influence de l'incertitude par rapport à la couverture.

2. Extensions Sensibles au Pipeline :
   Reconnaissant qu'un traitement symétrique des étapes est sous-optimal, deux extensions sont proposées :

   • RankFusion : Cette approche introduit une couverture à double variété (dual-manifold coverage). Elle emploie un second encodeur (réutilisant les caractéristiques de la TSR) pour génire des représentations au niveau du tableau. La couverture est calculée indépendamment dans les espaces de niveau document et de niveau tableau. Au lieu de sommer les scores (ce qui nécessiterait une normalisation entre différentes échelles), la méthode convertit les gains de couverture en rangs et les fusionne via la Fusion de Rang Réciproque (RRF). Elle conserve un signal d'incertitude et un paramètre de calibration partagés.
   • CAPA (Calibrated and Pipeline-Aware) : Cette méthode assouplit davantage les hypothèses de symétrie en modélisant explicitement la dépendance TD-vers-TSR :
     • Pondération Adaptative : Les poids de fusion ($\beta$) sont ajustés dynamiquement en fonction de la performance de validation de chaque étape. Si la TD est le goulot d'étranglement, le poids se déplace vers la variété TD ; si la TD est fiable, le poids se déplace vers la TSR.
     • Porte de Contrôle Dépendante de l'Étape (Stage-Dependent Gating) : L'incertitude de la TSR est supprimée pour les documents où la confiance de la TD est faible, empêissant la sélection d'échantillons pour l'annotation structurelle lorsque le tableau lui-même n'est pas détecté.
     • Calibration par Tâche : Des paramètres de calibration distincts ($\tau_{td}, \tau_{tsr}$) sont calculés pour chaque étape en fonction de leurs corrélations spécifiques entre incertitude et erreur.

Configuration Expérimentale
Les méthodes ont été évaluées sur quatre jeux de données : deux publics (PubTables-1M, FinTabNet) et deux privés (invoice-int, business-int). Le périmètre a été restreint aux documents à tableau unique sans cellules fusionnées afin d'isoler l'effet de la stratégie d'échantillonnage. Les expériences ont utilisé des détecteurs D-FINE-X pour les deux étapes, ré-entraînés de zéro à chaque itération d'AL. L'évaluation a couvert des budgets d'annotation allant de 71 à 500 documents, avec des résultats moyennés sur 10 graines aléatoires (seeds). La performance a été mesurée en utilisant l'Aire Sous la Courbe (AUC) normalisée des courbes d'apprentissage médianes basées sur la métrique GriTS-Con F1.

Résultats Clés

• Généralisation : La stratégie UHerding adaptée a surpassé les bases à signal unique (couverture pure via MaxHerding et incertitude pure via Confidence) sur tous les jeux de données, confirmant que l'échantillonnage hybride se généralise bien à la détection en cascade.
• Performance Sensible au Pipeline :
  • RankFusion a atteint l'AUC moyenne la plus élevée (65,74 %), excellant particulièrement sur le jeu de données business-int où la couverture à double variété a amplifié les signaux de diversité. Cependant, il présentait une variance plus élevée et était moins constant sur PubTables-1M, où la haute performance du modèle rendait l'incertitude dominante.
  • CAPA s'est imposé comme la stratégie la plus cohérente, surpassant la base UHerding adaptée sur trois des quatre jeux de données. Il a obtenu les meilleurs résultats sur FinTabNet (70,52 % d'AUC) et a maintenu un niveau plancher élevé (n'étant jamais classé en dessous de la 4ème position), ce qui en fait un choix robuste lorsque le goulot d'étranglement spécifique d'un jeu de données cible est inconnu.
• Dynamique du Goulot d'Étranglement : L'analyse a révélé que le goulot d'étranglement de la performance (TD vs TSR) dépend du jeu de données. La capacité de CAPA à réallouer la couverture vers l'étape critique (par exemple, en déplaçant l'attention vers la TSR lorsque la détection est fiable) a été confirmée visuellement par l'analyse de la couverture de l'espace d'embedding.

Signification et Contributions
L'article revendique trois contributions principales :

1. Première Adaptation de l'UHerding : Il présente la première application de l'Uncertainty Herding à un pipeline de détection d'objets en cascade, allant au-delà de la classification d'images à modèle unique.
2. Extensions Sensibles au Pipeline : Il introduit RankFusion et CAPA, qui exploitent explicitement la dépendance inter-étapes entre la détection et la reconnaissance de structure. CAPA, en particulier, démontre que le filtrage dynamique de l'incertitude et la pondération de la couverture en fonction de la fiabilité de l'étape produisent des améliorations constantes.
3. Validation Empirique : À travers une évaluation étendue sur divers domaines et budgets d'annotation, ce travail établit un compromis entre le gain attendu (RankFusion) et la cohérence (CAPA).

Les auteurs concluent que le goulot d'étranglement entre les étapes du pipeline façonne les préférences de stratégie plus que la fonction d'acquisition elle-même. Ils suggèrent que ce cadre est généralisable à toute tâche de détection en cascade avec des dépendances séquentielles, où le "où" de l'échec importe autant que le "comment" de la sélection d'échantillons. Le travail ne prétend pas résoudre les scénarios complexes de tableaux multiples ou de cellules fusionnées, les notant comme des limites pour des investigations futures.