Logi-PAR: Logic-Infused Patient Activity Recognition via Differentiable Rule

Le papier présente Logi-PAR, un cadre innovant d'inférence logique pour la reconnaissance des activités des patients qui intègre des règles différentiables explicites afin de fournir des explications auditrices et des interventions contrefactuelles, surpassant ainsi les modèles d'état de l'art sur des benchmarks cliniques.

L'essentiel

🏥 Logi-PAR : Le Détective Logique pour la Sécurité des Patients

Imaginez un hôpital où des caméras surveillent les patients 24h/24. L'objectif est de détecter les dangers, comme un patient qui tente de sortir de son lit sans aide et risque de tomber.

Le problème, c'est que les "intelligences artificielles" actuelles (comme les grands modèles de vision) fonctionnent un peu comme des étudiants qui apprennent par cœur. Ils regardent une photo et disent : "Ah, je vois un lit et une personne, donc c'est 'dormir'." Mais ils se trompent souvent ! Ils peuvent ignorer un détail crucial, comme le fait que la barrière de lit est baissée ou qu'il n'y a pas d'infirmière à côté, simplement parce que l'image globale ressemble à du repos. C'est ce qu'on appelle une "boîte noire" : on ne sait pas pourquoi ils ont pris cette décision.

Logi-PAR change la donne. Au lieu de simplement "regarder" l'image, il apprend à penser comme un détective en utilisant la logique.

🕵️‍♂️ L'Analogie du Détective vs. Le Miroir

1. Les anciennes méthodes (Le Miroir) :
   Imaginez un miroir magique qui vous montre une étiquette. Si vous voyez un lit, il colle l'étiquette "Dormir". S'il voit un mouvement, il colle "Marcher". Mais si le patient est assis au bord du lit avec la barrière baissée, le miroir peut être confus et dire "Dormir" parce que le patient ne bouge pas beaucoup. Il rate les détails fins (la barrière, la position des pieds).

2. Logi-PAR (Le Détective) :
   Logi-PAR ne se contente pas de regarder l'image. Il décompose la scène en petits faits atomiques (comme des pièces de puzzle) :

   • Faits 1 : La barrière est-elle baissée ? (OUI)
   • Faits 2 : Les pieds du patient sont-ils au bord du lit ? (OUI)
   • Faits 3 : Y a-t-il une infirmière dans la pièce ? (NON)

   Ensuite, il applique une règle logique (comme une recette de cuisine) :

   "SI (Barrière baissée) ET (Bord du lit) ET (Pas d'infirmière) ALORS = DANGER ÉLÉVÉ."

   Même si la caméra principale est cachée par un rideau (occlusion), Logi-PAR utilise les autres caméras (vue de dessus, vue latérale) pour trouver les pièces manquantes du puzzle. Il ne devine pas, il déduit.

🧠 Comment ça marche ? (La Cuisine de la Logique)

Le système fonctionne en deux étapes principales, comme une cuisine bien organisée :

1. La Récolte des Ingrédients (Fusion des faits) :
   Le système regarde toutes les caméras de la chambre. Il ne mélange pas tout dans un gros tas flou. Au lieu de cela, il identifie précisément chaque "ingrédient" (le lit, le patient, la barrière) et note sa confiance. Si une caméra est floue, il fait moins confiance à cette vue, mais il utilise les autres caméras pour compenser. C'est comme un chef qui goûte chaque ingrédient séparément avant de les mélanger.

2. La Recette Apprenante (Logique Différentiable) :
   C'est la partie magique. Le système apprend tout seul quelles règles sont importantes.

   • Au début, il ne sait pas quelles règles utiliser.
   • En regardant des milliers d'exemples, il découvre : "Ah ! Quand la barrière est baissée ET qu'il n'y a personne, c'est dangereux."
   • Il peut même apprendre des règles avec des "NON" : "Le danger est grand S'IL N'Y A PAS d'aide."

🌟 Pourquoi c'est génial ?

• Pas de "Hallucinations" : Les IA actuelles inventent parfois des choses (elles disent "c'est une chute" alors que c'est juste un mouvement). Logi-PAR ne peut pas inventer un danger s'il ne voit pas les preuves logiques (les ingrédients).
• Explications Claires : Si le système sonne l'alarme, il peut dire exactement pourquoi : "Attention ! Le patient est au bord du lit, la barrière est baissée et il n'y a personne." C'est comme si le détective vous montrait ses preuves.
• Simulation (Le "Et si ?") : Le système peut répondre à des questions hypothétiques : "Si une infirmière était entrée dans la pièce maintenant, le risque baisserait-il ?" La réponse est oui, et le système peut le calculer instantanément.

🏆 Les Résultats

Les chercheurs ont testé Logi-PAR sur de vraies données d'hôpitaux et de simulations de chutes.

• Il est plus précis que les meilleures IA actuelles (comme les modèles de vision très avancés).
• Il commet beaucoup moins d'erreurs (fausses alarmes).
• Il est capable de comprendre des situations qu'il n'a jamais vues auparavant, car il comprend la logique derrière le danger, pas juste l'image.

En résumé

Logi-PAR transforme la surveillance médicale d'un simple "regard aveugle" en un système de raisonnement intelligent. Il ne se contente pas de dire "quoi" se passe, il explique "pourquoi" c'est dangereux, en assemblant des petits indices visuels avec des règles logiques solides. C'est un pas de géant vers des hôpitaux plus sûrs et des IA que l'on peut vraiment faire confiance.

Résumé technique

1. Problématique et Contexte

La reconnaissance des activités des patients (PAR) dans les environnements cliniques est cruciale pour la sécurité des soins, notamment pour détecter des événements critiques tels que les chutes, les sorties de lit non surveillées ou la détérioration de la mobilité.

Cependant, les modèles d'état de l'art (SOTA), y compris les grands modèles vision-langage (VLM) et les réseaux de neurones profonds, souffrent de limitations majeures dans ce contexte :

• Nature des indices visuels : Les signaux déterminants pour l'évaluation des risques sont souvent rares, épars et relationnels (ex. : position précise d'une barrière de lit, proximité du bassin par rapport au bord, contact subtil avec un soignant). Ils occupent de petites zones de l'image et peuvent être occultés.
• Approche "Boîte Noire" : Les modèles actuels reposent sur des mécanismes d'attention globale qui tendent à privilégier les caractéristiques de fond dominantes au détriment des indices subtils. Ils apprennent des corrélations statistiques implicites plutôt que des structures causales explicites.
• Manque d'explicabilité : Ces modèles ne peuvent pas expliquer pourquoi une configuration spécifique constitue un risque, ni fournir de justifications vérifiables pour les décisions cliniques. Ils sont également sujets aux "hallucinations" (détection de risques inexistants).

L'objectif est donc de passer d'une simple classification de patterns à un raisonnement compositionnel explicite, capable d'inférer la causalité et de fournir des explications auditables.

2. Méthodologie : Logi-PAR

Les auteurs proposent Logi-PAR, le premier cadre de reconnaissance d'activités infusé de logique, qui intègre la fusion de faits contextuels et des règles logiques différentiables guidées par les réseaux de neurones. L'architecture se décompose en trois modules principaux :

A. Fusion de Faits Multi-vues (Perception $\phi$)

Ce module transforme les images cliniques synchronisées (multi-vues) en un graphe de faits probabilistes.

• Extraction d'Atomes : Au lieu de features latentes entrelacées, le modèle prédit des "faits atomiques" sémantiques (ex. : RailDown, EdgeSit, CaregiverNear) avec des scores de confiance.
• Fusion Incertaine : Un mécanisme de fusion pondérée par l'incertitude est utilisé. Chaque vue attribue un poids de fiabilité aux faits. Si une vue est occultée, son poids diminue, permettant au système de s'appuyer sur les vues où l'information est visible.
• Résultat : Un graphe de faits $G$ contenant des vecteurs de confiance et des matrices d'attribution de vue, servant de base sémantique au raisonnement.

B. Apprentissage de Règles Logiques Différentiables (Raisonnement $\psi$)

Ce module apprend automatiquement des règles logiques pour combiner les faits atomiques en états de risque cliniques.

• Sélection de Littéraux : Utilisant la technique Gumbel-Softmax, le modèle sélectionne "doucement" les faits atomiques pertinents pour former des règles.
• Gestion de la Négation : Des portes de négation apprenables permettent d'inclure l'absence d'un fait comme preuve (ex. : Risk ← RailDown ∧ EdgeSit ∧ ¬Caregiver).
• Composition : Les règles sont modélisées comme des conjonctions floues (T-normes) de leurs littéraux. La force de déclenchement de chaque règle est calculée, puis agrégée pour inférer l'état final de risque.
• Avantage : Cela permet une généralisation compositionnelle : le modèle peut reconnaître de nouvelles combinaisons de faits non vues lors de l'entraînement.

C. Explication Causale et Optimisation

• Explications "Pourquoi" : Le système génère des traces de règles explicites (ex. : "Risque élevé car la barrière est baissée ET le patient est au bord ET aucun soignant n'est présent").
• Interventions Contrefactuelles : Le modèle peut simuler des scénarios contrefactuels (ex. : "Le risque diminuerait de 65% si un soignant était présent") en modifiant les prédicats d'entrée.
• Fonction de Perte : L'entraînement est end-to-end avec une perte multi-tâches combinant la classification, l'ancrage des faits (alignement avec les vérités terrain) et une régularisation de parcimonie pour éviter les règles redondantes.

3. Contributions Clés

1. Premier cadre Logi-PAR : Introduction d'un pipeline différentiable end-to-end qui apprend simultanément la structure des règles et l'ancrage des faits visuels.
2. Apprenant de règles guidé par les neurones : Découverte automatique de règles logiques "douces" (incluant la négation) à partir de faits atomiques, avec estimation de la confiance pour gérer l'ambiguïté spatiale clinique.
3. Fusion de faits multi-vues : Transformation des indices visuels en un graphe d'activités probabiliste basé sur des prédicats atomiques, évitant les caractéristiques globales entrelacées.
4. Explicabilité et Robustesse : Capacité à fournir des explications auditables ("pourquoi") et à tester des interventions contrefactuelles, surpassant les modèles basés sur l'apprentissage profond pur.

4. Résultats Expérimentaux

Le cadre a été évalué sur deux benchmarks cliniques : OmniFall (détection de chutes multi-vues avec annotations atomiques) et VAST (données réelles d'hôpitaux avec occlusions et vues limitées).

• Performance Globale : Logi-PAR atteint des performances SOTA, surpassant les modèles Vision-Language (VLM) et les Transformers.
  • Sur OmniFall : Score de généralisation compositionnelle (CGS) de 89,4% (contre 68,3% pour InternVideo2), prouvant sa capacité à généraliser à des combinaisons de faits non vues.
  • Sur VAST : Précision moyenne (m@P) de 92,4% et un score F1 de 91,8%, avec un taux de fausses alarmes (F@R) extrêmement bas de 0,04.
• Robustesse aux Occlusions : Contrairement aux modèles basés sur l'attention globale qui échouent face aux occlusions (confondant souvent une sortie de lit avec du sommeil), Logi-PAR fusionne les preuves multi-vues pour maintenir une détection fiable.
• Analyse d'Ablation :
  • La suppression du module de fusion de faits réduit la robustesse et augmente les fausses alarmes.
  • La suppression des règles différentiables (remplacement par des connexions simples) fait chuter le CGS, confirmant que l'apprentissage de la structure causale est essentiel.
  • La régularisation de parcimonie permet de réduire le nombre de règles actives à environ 4,2 par classe de risque, assurant une interprétabilité humaine.

5. Signification et Impact

Logi-PAR représente un changement de paradigme dans la surveillance clinique intelligente :

• De la Classification au Raisonnement : Il passe d'une classification passive à un système de prise de décision basé sur le raisonnement actif et explicite.
• Sécurité Clinique : En fournissant des explications vérifiables et en réduisant drastiquement les fausses alarmes (fatigue d'alerte), il répond aux exigences de sécurité critique des hôpitaux.
• Interprétabilité : La capacité à générer des traces de règles et des scénarios contrefactuels permet aux professionnels de santé de comprendre et de valider les décisions de l'IA, comblant le fossé de confiance souvent présent avec les modèles "boîte noire".

En résumé, Logi-PAR démontre que l'intégration de la logique symbolique dans les réseaux de neurones profonds est la voie à suivre pour créer des systèmes de surveillance médicale robustes, généralisables et dignes de confiance.