🤖 machine learning

ProtoSSL: Interpretable Prototype Learning from Unlabeled Time-Series Data

ProtoSSL est un cadre novateur qui apprend des prototypes interprétables basés sur la projection à partir de données de séries temporelles non étiquetées via la découverte auto-supervisée de motifs, lesquels peuvent ensuite être alignés efficacement sur des tâches en aval pour atteindre une efficacité des étiquettes supérieure et des explications préférées par les humains par rapport aux bases supervisées.

Auteurs originaux : Steven Song, Sahil Sethi, Brett Beaulieu-Jones, Robert L. Grossman

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Steven Song, Sahil Sethi, Brett Beaulieu-Jones, Robert L. Grossman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un ordinateur à reconnaître différents types de battements cardiaques (ECG) ou de sons (audio). Habituellement, pour bien faire cela, vous avez besoin de deux choses : une immense bibliothèque d'exemples étiquetés (par exemple, « ce battement cardiaque est normal », « celui-ci est dangereux ») et un moyen d'expliquer pourquoi l'ordinateur a pris sa décision.

Les modèles d'apprentissage profond sont excellents pour trouver des motifs, mais ils sont souvent des « boîtes noires ». Vous ne pouvez pas facilement voir sur quoi ils se concentrent. D'un autre côté, les modèles « prototypes » sont comme un détective qui dit : « Je pense que c'est une crise cardiaque parce que cela ressemble exactement à cet exemple spécifique de crise cardiaque que j'ai vu auparavant. » Ils sont faciles à comprendre, mais ils nécessitent généralement une énorme quantité de données étiquetées pour apprendre ces exemples spécifiques dès le départ. Si vous changez de tâche (par exemple, passer de la détection de crises cardiaques à la détection d'une autre condition), vous devez souvent repartir de zéro et tout réapprendre.

Voici ProtoSSL : Le « Collecteur Universel de Motifs ».

Les auteurs de cet article ont créé un nouveau système appelé ProtoSSL qui résout ces problèmes en divisant le processus d'apprentissage en deux étapes distinctes. Pensez-y comme à un bibliothécaire qui organise d'abord les livres selon leur forme physique et leur couleur, et ne décide que plus tard à quel genre appartient chaque livre.

Étape 1 : Le « Collecteur de Formes » (Apprentissage non étiqueté)

D'abord, ProtoSSL examine un immense tas de données non étiquetées (des milliers de battements cardiaques ou de sons sans étiquettes attachées). Il ne se soucie pas encore du diagnostic ; il veut simplement trouver des motifs récurrents.

L'analogie : Imaginez un enfant jouant avec une boîte de briques LEGO mélangées. L'enfant ne sait pas encore ce qu'est une « voiture » ou une « maison ». Il trie simplement les briques par couleur, taille et forme. Il construit une « banque » de motifs de briques intéressants et réutilisables.
Ce que fait ProtoSSL : Il utilise une méthode auto-supervisée pour trouver ces « motifs » récurrents dans les données et les stocke dans une Banque de Prototypes. Il apprend : « Oh, cette petite courbe spécifique se produit souvent », ou « Ce rythme spécifique se répète ». Crucialement, il fait cela sans savoir ce que ces motifs signifient médicalement ou linguistiquement.

Étape 2 : L'« Assignateur d'Étiquettes » (Adaptation de tâche)

Une fois la bibliothèque de motifs construite, vous pouvez maintenant l'utiliser pour un travail spécifique. Vous apportez une petite quantité de données étiquetées (par exemple, « ces courbes signifient 'crise cardiaque' »).

L'analogie : Maintenant, le bibliothécaire prend les briques LEGO prétriées et dit : « D'accord, pour ce projet spécifique, les briques rouges 2x4 représenteront les 'voitures', et les briques bleues 2x2 représenteront les 'maisons'. »
Ce que fait ProtoSSL : Il associe efficacement les motifs qu'il a déjà trouvés aux nouvelles étiquettes. Il se demande : « Lequel de mes motifs pré-appris représente le mieux une 'crise cardiaque' ? » Il « ancre » ensuite ces motifs en pointant vers les exemples réels dans les données qui leur correspondent.

Pourquoi est-ce important ?

1. C'est incroyablement efficace en termes de données.
Habituellement, pour entraîner un modèle intelligent et explicable, vous avez besoin de milliers d'exemples étiquetés. ProtoSSL peut faire un excellent travail avec aussi peu que 256 exemples étiquetés.

La métaphore : Au lieu d'avoir besoin d'une bibliothèque entière de livres étiquetés pour enseigner à un étudiant, vous avez juste besoin de quelques exemples pour lui montrer quels chapitres prétriés appartiennent à quel sujet. Le travail lourd de la découverte des chapitres a déjà été fait.

2. C'est réutilisable.
Si vous entraînez un modèle standard sur des données cardiaques, il ne peut pas facilement être utilisé pour des données audio. Mais parce que ProtoSSL apprend d'abord les formes des données, vous pouvez prendre cette même « Banque de Motifs » et l'utiliser pour des tâches complètement différentes (comme passer des battements cardiaques à la reconnaissance vocale) sans réentraîner tout le système.

3. Les humains apprécient réellement les explications.
Les chercheurs ont testé cela avec des étudiants en médecine. Ils leur ont montré des explications générées par ProtoSSL et des explications provenant de modèles standards, très dépendants des étiquettes.

Le résultat : Même si les modèles standards étaient parfois légèrement meilleurs pour obtenir la réponse correcte, les étudiants en médecine préféraient les explications de ProtoSSL. Ils estimaient que les exemples choisis par ProtoSSL étaient de « meilleurs exemples » du diagnostic.
La métaphore : Un modèle standard pourrait dire : « C'est une crise cardiaque à cause de cette minuscule et étrange pointe. » ProtoSSL dit : « C'est une crise cardiaque parce que cela ressemble exactement à cette crise cardiaque classique et typique. » Les humains trouvent l'exemple typique beaucoup plus convaincant et digne de confiance.

Résumé

ProtoSSL est un cadre qui apprend à quoi les choses ressemblent avant d'apprendre ce que les choses signifient. En séparant la découverte des motifs de l'attribution des étiquettes, il crée un système réutilisable, hautement efficace et convivial pour les humains, qui fonctionne bien même lorsque vous avez très peu d'exemples étiquetés. Il fonctionne pour les données cardiaques (ECG) et a également été démontré efficace pour les données audio, prouvant qu'il s'agit d'un outil flexible pour l'analyse de séries temporelles.

Résumé Technique : ProtoSSL

Énoncé du Problème

Dans les domaines des séries temporelles tels que l'analyse des signaux cliniques et la classification audio, les réseaux de neurones profonds atteignent souvent de hautes performances prédictives mais manquent d'interprétabilité. Bien que les réseaux à prototypes basés sur la projection (par exemple, ProtoPNet) offrent une interprétabilité inhérente en ancrant les prédictions dans un raisonnement de type « cela ressemble à cela » — comparant les entrées à des exemples d'entraînement représentatifs — les approches existantes souffrent de deux limitations critiques :

Dépendance aux Étiquettes : Les prototypes sont appris via des objectifs supervisés liés à des structures de classes spécifiques, nécessitant de grands ensembles de données étiquetés.
Manque de Réutilisabilité : Comme les prototypes sont optimisés pour une tâche spécifique, ils ne peuvent pas être facilement transférés vers de nouvelles tâches en aval ou vers des ensembles de données avec des espaces d'étiquettes différents, ce qui nécessite un réentraînement complet.

En revanche, l'apprentissage auto-supervisé (SSL) peut apprendre des structures transférables à partir de données non étiquetées, mais opère généralement dans un espace latent, échouant à produire des explications inspectables par l'humain et ancrées dans la projection. Le défi central consiste à apprendre des prototypes qui sont à la fois transférables entre les tâches et intrinsèquement interprétables, sans dépendre d'étiquettes spécifiques à la tâche lors de la phase d'apprentissage initiale.

Méthodologie : Cadre ProtoSSL

ProtoSSL répond à ce défi en découplant la découverte de motifs de l'alignement des étiquettes. Le cadre fonctionne en deux phases distinctes :

1. Préentraînement Auto-supervisé (Découverte de Motifs)

ProtoSSL apprend une banque réutilisable de prototypes à partir de données de séries temporelles non étiquetées.

Architecture : Un encodeur $f_\theta$ mappe la série temporelle d'entrée $x$ vers une représentation $h$ . Un ensemble de prototypes apprenables $P$ est défini.
Activation : Les activations de prototypes $a(x)$ sont calculées comme la similarité entre la sortie de l'encodeur et chaque prototype $p_k$ .
Objectif : Un objectif contrastif auto-supervisé (SimCLR/NT-Xent) est appliqué directement aux activations de prototypes projetées $z = r_\phi(a(x))$ . Cela force le modèle à représenter les entrées comme des pondérations de prototypes basées sur la cohérence des données à travers des vues augmentées, sans aucune supervision par étiquette.
Régularisation : Une régularisation KoLeo est appliquée aux vecteurs de prototypes pour garantir qu'ils sont répartis dans l'espace latent, empêchant l'effondrement.
Résultat : Une « banque de prototypes » $P$ qui capture des motifs récurrents et transférables dans la distribution des données, indépendamment de toute tâche en aval spécifique.

2. Adaptation Cible (Alignement des Étiquettes)

Une fois une tâche en aval avec des données étiquetées disponible, les prototypes préentraînés sont alignés sur la nouvelle tâche sans réentraîner la banque de prototypes.

Assignation : Une procédure d'assignation nouvelle, sans entraînement et non paramétrique, mappe les prototypes de la banque vers les étiquettes en aval. Ceci est formulé comme un problème d'assignation linéaire rectangulaire (LAP), soluble en temps polynomial.
- Une matrice de scores d'association $Q$ est calculée sur la base des statistiques d'activation des prototypes (comparant l'activation sur les échantillons positifs par rapport aux échantillons négatifs pour chaque étiquette, normalisée par la variance).
- Le solveur LAP assigne les prototypes les plus discriminants à chaque slot d'étiquette.
Projection : Les prototypes assignés sont projetés sur de vrais exemples d'entraînement représentatifs de l'ensemble de données cible qui possèdent l'étiquette correspondante. Cette étape ancre les prototypes dans des segments de signal concrets, préservant l'interprétabilité.
Classification : Un classifieur de régression logistique est entraîné sur les activations de prototypes projetées. L'encodeur et les prototypes peuvent rester figés (sondage linéaire) ou être affinés avec une supervision par étiquette.

Contributions Clés

Cadre Novel : ProtoSSL est le premier cadre à apprendre des prototypes interprétables ancrés dans la projection à partir de données non étiquetées et à les adapter aux tâches en aval via une procédure explicite d'assignation et de projection.
Séparation des Préoccupations : En séparant la découverte de motifs (auto-supervisée) de l'alignement des étiquettes (assignation), le cadre permet la réutilisation des prototypes à travers les ensembles de données et les espaces d'étiquettes sans réapprendre la représentation de base.
Efficacité des Étiquettes : Le cadre améliore considérablement l'efficacité des étiquettes, restant efficace avec aussi peu que 256 exemples étiquetés, surpassant les bases de prototypes supervisés dans les régimes à faible quantité de données.
Interprétabilité Humaine : Une étude d'évaluation humaine démontre que les prototypes appris sans étiquettes de tâche sont jugés comme des exemples de diagnostics plus représentatifs et acceptables que ceux appris par une supervision directe par étiquette, bien que ces derniers aient une précision prédictive plus élevée dans certains cas.
Généralisabilité : L'approche s'étend au-delà de l'ECG vers la classification audio, validant la séparation de la découverte de motifs et de l'alignement des étiquettes à travers des domaines de séries temporelles distincts.

Résultats Expérimentaux

Les auteurs ont évalué ProtoSSL sur six ensembles de données ECG et trois ensembles de données audio.

Performance ECG :
- Données Complètes : Avec affinage, ProtoSSL surpasse les bases de prototypes supervisés (SupProto Direct) et atteint des performances compétitives par rapport aux modèles de fondation boîtes noires.
- Faible Quantité de Données : Dans les régimes à faible quantité de données (jusqu'à 256 échantillons), ProtoSSL (sondage figé) surpasse constamment à la fois les bases supervisées et les modèles boîtes noires. Notamment, ProtoSSL avec seulement 4 000 échantillons égale la performance des bases supervisées entraînées sur des ensembles de données complets (64 000+ échantillons) sur certaines tâches.
- Généralisation : ProtoSSL se généralise bien aux tâches hors domaine où les espaces d'étiquettes diffèrent, tandis que le préentraînement supervisé par étiquette (SupProto HEEDB) échoue à transférer efficacement vers des tâches avec des étiquettes non chevauchantes.
Performance Audio :
- ProtoSSL préentraîné sur AudioSet se transfère efficacement vers UrbanSound8K, IEMOCAP et VoxCeleb1. Il surpasse les bases supervisées sur des tâches avec un chevauchement d'étiquettes minimal, démontrant la robustesse de la phase de découverte de motifs.
Évaluation Humaine :
- Dans une étude en aveugle avec des étudiants en médecine, les prototypes ProtoSSL ont été jugés significativement supérieurs en « acceptabilité » (91,4 % contre 66,4 %) et en qualité d'explication (82,9 % contre 67,9 %) par rapport aux prototypes directement supervisés. Cela suggère que la découverte auto-supervisée produit des motifs perçus plus cohéremment comme des exemples cliniques représentatifs.
Efficacité :
- L'étape d'assignation est computationnellement efficace, résolvant le problème d'assignation linéaire en quelques secondes, tandis que les méthodes d'assignation paramétriques alternatives (par exemple, ProtoPool adapté) sont un ordre de grandeur plus lentes.

Signification et Revendications

L'article revendique que ProtoSSL déplace fondamentalement le paradigme de la modélisation interprétable des séries temporelles en démontrant que des prototypes interprétables peuvent être appris avant que l'espace d'étiquettes en aval ne soit connu.

Découplage : Il prouve que le mécanisme de raisonnement « cela ressemble à cela » ne nécessite pas une supervision par étiquette de bout en bout pour découvrir des motifs utiles.
Réutilisabilité : Il établit une voie pour créer des composants de modèles réutilisables et interprétables qui peuvent être rapidement adaptés à de nouvelles tâches cliniques ou industrielles avec un minimum de données étiquetées.
Qualité des Preuves : Les auteurs posent l'hypothèse que la découverte de motifs auto-supervisée peut produire des preuves basées sur des cas plus représentatives que l'apprentissage supervisé, qui pourrait privilégier des caractéristiques discriminantes moins intuitivement « prototypiques » pour les experts humains.

Ce travail positionne ProtoSSL comme une fondation pour les études dans des domaines à pénurie de données (tels que la médecine) où l'obtention de grands ensembles de données étiquetés est difficile, mais où l'interprétabilité est essentielle pour la confiance clinique et l'adoption.