Beyond Binary Contrast: Modeling Continuous Skeleton Action Spaces with Transitional Anchors

1. Het Probleem

Bestaande methoden voor zelftoezicht op skeletgebaseerde actieherkenning (skeleton-based action recognition) vertrouwen voornamelijk op contrastief leren met een binair doel: positieve paren (vergelijkbare voorbeelden) worden naar elkaar toegetrokken en negatieve paren worden uit elkaar geduwd.

De auteurs identificeren twee fundamentele beperkingen in deze aanpak:

• Verwaarlozing van continuïteit: Menselijke beweging is inherent continu en evolueert geleidelijk. Binair contrast behandelt bewegingen als discrete, gescheiden clusters, wat leidt tot gefragmenteerde feature-bundels en rigide klassengrenzen.
• Onbetrouwbare voorspellingen: Door de gebrek aan fijne-granulariteit in de inbeddingsruimte (embedding space), leveren bestaande modellen onbetrouwbare voorspellingen en slecht gekalibreerde betrouwbaarheidsscores, vooral bij moeilijke, wazige of overgangsachtige acties.

2. Methodologie: TranCLR

Om deze problemen aan te pakken, stellen de auteurs TranCLR voor (Transitional anchor-based Contrastive Learning). Dit framework verschuift van discrete binair contrast naar een continu, topologie-bewust representatieparadigma. De methode bestaat uit twee kerncomponenten:

A. Actie Overgangsanker Constructie (ATAC)

In plaats van alleen originele steekproeven te gebruiken, genereert ATAC transitie-ankers (intermediare toestand) tussen twee actievoorbeelden ($X_i$ en $X_j$). Deze ankers fungeren als regularisatoren voor het manifold (de ruimte waarin de data ligt) en modelleren de geometrische structuur van overgangstoestanden.

• Globale Traject Interpolatie: Net als bij Mixup, wordt een lineaire interpolatie gebruikt tussen twee volledige actievoorbeelden om een globaal glad traject te creëren.
• Lokale Spatio-temporele Substitutie: Om fijne details te behouden, worden willekeurige lichaamsdelen (bijv. armen, benen) en tijdsvensters uit de ene actie gehaald en in de andere geplaatst. Dit creëert plausibele lokale overgangen zonder kinematische details te vervagen.
• Dynamische Selectie: Het model wisselt dynamisch tussen deze twee strategieën om zowel semantische gladheid als ruimtelijk-temporale trouw te leren.

B. Multi-Level Geometrische Manifold Kalibratie (MGMC)

Op basis van deze ankers introduceert MGMC een mechanisme om de feature-ruimte op drie niveaus te kalibreren, waardoor een gladde en semantisch geordende manifold ontstaat:

1. Intra-Sample Continuïteit: Zorgt ervoor dat augmentaties van dezelfde actie lineair interpoleren in de inbeddingsruimte, wat lokale samenhang bevordert.
2. Inter-Sample Semantische Bridging: Creëert ankers tussen verschillende acties om de overgangen tussen gerelateerde klassen (bijv. van lopen naar rennen) glad te maken en rigide grenzen te verzachten.
3. Cross-Anker Relationale Consistentie: Stelt geometrische beperkingen op tussen ankers die gedeelde ouderparen hebben. Dit fungeert als een zwak supervisie-signaal om de globale topologische coherentie van de hele manifold te verfijnen.

Soft Alignment: Om conflicten tussen deze kalibratiedoelen op te lossen, gebruiken de auteurs een "soft alignment" strategie (gebaseerd op kennisdistillatie) in plaats van harde InfoNCE-verliezen. Dit stabiliseert het trainingproces en zorgt voor soepelere semantische buurten.

3. Belangrijkste Bijdragen

• TranCLR Framework: Een nieuw contrastief leerframework dat binair contrast vervangt door een continu, topologie-bewust paradigma voor skeletacties.
• ATAC Strategie: Een innovatieve methode om expliciete overgangstoestanden te modelleren via globale interpolatie en lokale substitutie, wat de latent topologie verrijkt.
• MGMC Mechanisme: Een multi-level kalibratiemethode die de feature-afstanden tussen ankers progressief reguleert, wat resulteert in een soepelere en meer discriminerende representatieruimte.
• Betrouwbaarheid en Kalibratie: Het framework levert niet alleen hogere nauwkeurigheid, maar ook betrouwbare onzekerheidsschattingen (uncertainty estimation), wat cruciaal is voor toepassingen in de echte wereld.

4. Resultaten

TranCLR werd getest op drie grote datasets: NTU RGB+D, NTU RGB+D 120 en PKU-MMD.

• Linear Evaluation (Nauwkeurigheid): TranCLR vestigt nieuwe state-of-the-art resultaten. Op NTU-120 (X-Sub) bereikte het 74.3% nauwkeurigheid (een verbetering van 5.3% ten opzichte van de sterke baseline ActCLR). In multi-stream settings (3s-TranCLR) werd 88.5% bereikt op NTU-60.
• Transfer Learning: Het model toont uitstekende generalisatie. Bij overdracht van NTU-60 naar het uitdagende PKU-MMD Part II bereikte het 65.6% nauwkeurigheid, wat een verbetering is van 1.3% ten opzichte van de beste concurrenten.
• Actieretrieval: Het model presteert zeer goed bij het terugvinden van acties, wat aantoont dat de feature-ruimte goed gescheiden is, ondanks de verzachte klassengrenzen.
• Kalibratie: Een opvallend resultaat is de drastische verbetering in modelkalibratie. De Expected Calibration Error (ECE) op NTU-120 daalde van 5.63% (ActCLR) naar 0.65% (TranCLR), wat betekent dat het model zijn voorspellingen veel betrouwbaarder inschat.

5. Betekenis

Deze studie is significant omdat het de fundamentele aanname van binair contrastief leren in de computervisie uitdaagt voor menselijke beweging. Door te erkennen dat beweging continu is, creëert TranCLR een representatieruimte die beter overeenkomt met de fysieke realiteit van menselijke interactie.

Dit leidt tot modellen die niet alleen nauwkeuriger zijn, maar ook robuster en betrouwbaarder in onzekere situaties. Dit maakt TranCLR bijzonder waardevol voor toepassingen zoals mens-computerinteractie, medische revalidatie en video-analyse in open wereldscenario's, waar het vermogen om onzekerheid correct in te schatten net zo belangrijk is als de pure classificatienauwkeurigheid.