State Space Models are Effective Sign Language Learners: Exploiting Phonological Compositionality for Vocabulary-Scale Recognition

1. Het Probleem: De Schaalvergrotingscrisis in Gebarentaalherkenning

Het paper identificeert een fundamenteel probleem in bestaande systemen voor gebarentaalherkenning (SLR): catastrofaal falen bij schaalvergroting.

• Het fenomeen: Modellen presteren uitstekend op kleine vocabulaires (<100 klassen), maar hun nauwkeurigheid stort in bij realistische, grote vocabulaires (>1.000 tot 5.000+ gebaren).
• De oorzaak: Bestaande architecturen (zoals LSTMs, Transformers, GCNs) behandelen gebaren als atomaire visuele patronen. Ze leren "platte" representaties waarbij elke categorie een onafhankelijke embedding vector krijgt.
  • De capaciteit schaalt lineair met de vocabulairegrootte $O(K)$.
  • Gebarentalen zijn echter compositional: gebaren bestaan uit een beperkt aantal herbruikbare fonologische parameters (handvorm, locatie, beweging, oriëntatie).
• De consequentie: Zonder exploitatie van deze structurele samenstelling kunnen modellen niet generaliseren naar nieuwe gebaren die uit bekende onderdelen bestaan, wat leidt tot een tekort aan data-efficiëntie en slechte prestaties in few-shot scenario's.

2. Methodologie: PHONSSM

De auteurs introduceren PHONSSM (Phonological State Space Model), een architectuur die expliciet de fonologische structuur van gebarentaal inbouwt. Het model verwerkt skeletdata (MediaPipe landmarks) via vier fasen:

1. Anatomical Graph Attention (AGAN):

   • Handlandmarks worden gemodelleerd als een graaf met anatomisch onderbouwde connectiviteit (vingerketens, palmverbindingen).
   • Multi-head graph attention wordt toegepast om ruimtelijke features per frame te extraheren, gefocust op de skeletstructuur in plaats van ruwe pixels.

2. Phonological Decomposition (PDM):

   • Dit is de kerninnovatie. De ruimtelijke features worden gefactoriseerd in vier orthogonale subruimtes die corresponderen met de fonologische parameters:
     • Handshape (Handvorm)
     • Location (Locatie)
     • Movement (Beweging)
     • Orientation (Oriëntatie)
   • Een orthogonaliteitsverlies ($L_{ortho}$) zorgt ervoor dat deze componenten decorreleren, zodat elke subruimte een specifiek linguïstisch concept leert vertegenwoordigen.

3. Bidirectional State Space Model (BISSM):

   • In plaats van attention-mechanismen (die $O(T^2)$ complexiteit hebben), gebruikt het model Mamba (State Space Models) voor bidirectionele temporele modellering.
   • Dit zorgt voor lineaire complexiteit $O(T)$, wat essentieel is voor efficiëntie en het verwerken van lange sequenties.

4. Hierarchical Prototypical Classifier (HPC):

   • Het model gebruikt leerbare prototypen voor elke fonologische component (bijv. 30 prototypes voor handvormen, 15 voor locaties).
   • Classificatie gebeurt via hiërarchische matching: eerst worden de componenten vergeleken met hun prototypes, en vervolgens worden deze samengevoegd voor de definitieve gebaar-classificatie. Dit maakt few-shot learning mogelijk.

3. Belangrijkste Bijdragen

• Formalisatie van de Compositional Bottleneck: Het paper legt theoretisch uit waarom platte representaties falen bij grote vocabulaires en toont aan dat compositionaliteit een exponentieel voordeel biedt ($O(M^c)$ vs $O(K)$).
• Eerste Architectuur met Expliciete Fonologie: PHONSSM is het eerste model dat fonologische decompositie niet alleen als extra supervisie gebruikt, maar als een fundamenteel architecturaal principe (via factorisatie en orthogonaliteit).
• Causaal Bewijs: Door interventies (het wisselen van component-embeddings) tonen de auteurs aan dat de representaties echt compositional zijn; het wisselen van één component (bijv. locatie) verandert de voorspelling naar het bijbehorende "minimal pair" in 73,2% van de gevallen.
• Privacy en Efficiëntie: Het model werkt uitsluitend op skeletdata, wat privacy waarborgt en de afhankelijkheid van RGB-video elimineert.

4. Resultaten

Het model werd getest op twee tracks met verschillende datasets en invoermodi:

• WLASL Benchmarks (Pose + Beide Handen, 75 landmarks):

  • WLASL2000: PHONSSM bereikt 72,1% nauwkeurigheid, wat een verbetering is van +18,4% ten opzichte van de huidige state-of-the-art (DSTA-SLR, 53,7%).
  • WLASL100: 88,4% nauwkeurigheid.
  • Opmerking: Bij middelgrote vocabulaires (WLASL300/1000) presteert het iets minder dan discriminatieve modellen vanwege de hoge dichtheid van fonologisch vergelijkbare paren ("minimal pairs"), wat een fundamentele afweging tussen precisie en generalisatie illustreert.

• Merged-5565 (Grootste ASL-dataset ooit, 5.565 gebaren, Dominante Hand):

  • PHONSSM bereikt 53,3% nauwkeurigheid, vergeleken met 27,4% voor een Bi-LSTM baseline.
  • Few-Shot Performance: Bij gebaren met slechts 1-5 trainingsvoorbeelden verbetert het model de prestaties met +225% ten opzichte van baselines.
  • Zero-Shot Transfer: Het model transferde succesvol naar de ASL Citizen dataset zonder extra supervisie.

• Efficiëntie: Met slechts 3,2M parameters is PHONSSM 12x sneller dan I3D (een video-model met 12,3M parameters) en vereist het geen videoframes, maar alleen skeletcoördinaten.

5. Betekenis en Impact

• Oplossing voor Schaalvergroting: Het paper bewijst dat het "vocabulary scaling problem" een representatieprobleem is, oplosbaar door inductieve biases die de linguïstische structuur van de taal nabootsen.
• Toekomstige Richting: Het werk suggereert dat compositionaliteit niet alleen geldt voor gebarentaal, maar ook voor natuurlijke taal (morfologie), visuele scènes en acties.
• Toegankelijkheid: Door alleen skeletdata te gebruiken, biedt het een privacy-vriendelijke en robuuste oplossing voor gebarentaalherkenning in de echte wereld, zonder afhankelijkheid van camera-kwaliteit of achtergrondlicht.
• Fundamenteel Inzicht: Het onthult een fundamentele afweging: compositional modellen excelleren in generalisatie naar grote, diverse vocabulaires, terwijl discriminatieve modellen beter zijn bij het onderscheiden van zeer vergelijkbare gebaren (minimal pairs) in kleinere datasets.

Kortom, PHONSSM markeert een verschuiving van "visueel patroonherkenning" naar "linguïstisch gestructureerde herkenning", wat leidt tot een doorbraak in de schaalbaarheid en generalisatie van gebarentaalherkenningssystemen.