Sum-of-Checks: Structured Reasoning for Surgical Safety with Large Vision-Language Models

Résumé Technique : Sum-of-Checks (Somme de Vérifications)

Titre original : Sum-of-Checks: Structured Reasoning for Surgical Safety with Large Vision-Language Models

1. Problématique (Le Problème)

L'évaluation de la Vue Critique de Sécurité (CVS - Critical View of Safety) lors d'une cholécystectomie laparoscopique est une étape cruciale pour prévenir les lésions des voies biliaires, qui peuvent être fatales. Bien que les grands modèles de vision-langage (LVLM) offrent une grande flexibilité de raisonnement, ils présentent deux limites majeures dans ce contexte médical critique :

• Manque de fiabilité : Ils peinent à raisonner sur des preuves visuelles interdépendantes et complexes.
• Opacité (Boîte noire) : Leurs prédictions sont difficiles à auditer. Un chirurgien ne peut pas vérifier si le modèle a réellement pris en compte tous les éléments anatomiques nécessaires avant de valider la sécurité.

2. Méthodologie (Sum-of-Checks)

Les auteurs proposent un nouveau cadre de raisonnement structuré qui décompose chaque critère de sécurité en une série de vérifications de raisonnement (reasoning checks) définies par des experts chirurgiens.

Le processus se déroule en trois étapes :

1. Décomposition en vérifications : Au lieu de demander au modèle "La CVS est-elle satisfaite ?", on lui demande d'évaluer des sous-composantes spécifiques (ex: visibilité de la vésicule, absence d'obstruction par un instrument, présence de deux structures tubulaires, etc.).
2. Élicitation de preuves : Pour chaque vérification, le LVLM doit produire une justification textuelle et un jugement binaire (1 pour "oui", 0 pour "non"). L'ambiguïté est traitée comme une absence de preuve (0) pour garantir la sécurité.
3. Agrégation pondérée : Le score final pour un critère est calculé par une somme pondérée des résultats de ces vérifications :
   $$\hat{y}^{(i)} = \sum_{j=1}^{m^{(i)}} w_j^{(i)} \cdot r_j^{(i)}$$
   Où $w_j$ est le poids (importance) de la vérification $j$, défini par des experts.

3. Contributions Clés

• Cadre de raisonnement structuré : Création d'une méthode qui sépare explicitement l'extraction des preuves (observation) de la prise de décision (scoring).
• Alignement expert : Utilisation de critères cliniques réels pour guider le raisonnement de l'IA, rendant le système auditable.
• Démonstration de la supériorité du structuré : Preuve que la structure explicite surpasse les méthodes de raisonnement libre comme le Chain-of-Thought (CoT) ou la décomposition en sous-questions générées par le modèle lui-même.

4. Résultats

L'évaluation a été réalisée sur le benchmark Endoscapes2023 en utilisant trois modèles de pointe (GPT-4.1-mini, Claude Haiku 4.5, Claude Opus 4.5).

• Amélioration de la précision : La méthode Sum-of-Checks améliore la précision moyenne (mAP) de 12 à 14 % par rapport aux meilleures méthodes de base.
• Robustesse : Contrairement au raisonnement libre, l'approche structurée est plus stable. L'étude montre que l'utilisation d'exemples de type "few-shot" (quelques exemples d'apprentissage) et l'agrégation pondérée déterministe sont essentielles à la performance.
• Analyse de fiabilité : Les modèles sont très fiables pour les vérifications d'observation (ex: visibilité de la caméra), mais montrent encore une variabilité sur les preuves anatomiques critiques, soulignant une marge de progression pour les LVLM.

5. Signification et Conclusion

Cette recherche démontre que pour les applications médicales à haut risque, la structure du raisonnement est aussi importante que la puissance du modèle. En forçant l'IA à suivre un protocole de vérification aligné sur l'expertise humaine, Sum-of-Checks transforme un modèle de prédiction opaque en un système d'assistance chirurgicale plus précis, transparent et auditable. Cela ouvre la voie à des systèmes d'IA capables de fournir des explications cliniques compréhensibles par les chirurgiens en temps réel.