SignAgent: Agentic LLMs for Linguistically-Grounded Sign Language Annotation and Dataset Curation

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een heel complexe dans wilt beschrijven, maar dan niet met je voeten, maar met je handen, gezicht en hele lichaam. Dat is wat Gebarentaal (Sign Language) is: een rijke, visuele taal. Maar er is een groot probleem: het is ontzettend moeilijk om deze dansen voor computers te "vertalen" of te beschrijven.

Tot nu toe moesten mensen dit handmatig doen. Dat is als proberen een heel boek te typen terwijl je blind bent: het kost enorm veel tijd, het is duur, en het gaat vaak fout.

In dit artikel presenteren de onderzoekers SignAgent. Dit is geen gewone computerprogramma, maar een slimme digitale assistent (een "agent") die helpt om gebarentaal te begrijpen en te ordenen.

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De Regisseur en de Bibliotheek

Stel je een filmset voor.

De Regisseur (SignAgent Orchestrator): Dit is de "hoofd" van het systeem. Het is een slimme AI die zelf nadenkt. In plaats van zomaar een antwoord te geven, denkt deze regisseur na: "Oké, ik zie een handbeweging. Wat zou dat kunnen betekenen? Laten we eerst de bibliotheek raadplegen."
De Bibliotheek (SignGraph): Dit is een enorme, digitale kennisbank. Hierin staan niet alleen woorden, maar ook de regels van de taal: hoe ziet een hand eruit? Hoe beweegt hij? Waar gebeurt het?
De Specialisten (De Tools): De regisseur heeft een team van experts om zich heen. De één kijkt alleen naar de vorm van de hand, de ander naar de beweging, en weer een ander naar de plek waar de hand is.

2. Twee Grote Taken

De SignAgent doet twee belangrijke dingen om deze "dans" te ordenen:

Taak 1: Het Ordenen van de Woorden (Pseudo-gloss Annotation)

Stel je voor dat je een gebarentaal-video hebt en een geschreven zin in het Nederlands. De computer moet nu de gebaren in de video koppelen aan de woorden in de zin.

Het probleem: Soms gebeurt er veel tegelijk, of zijn de gebaren vaag. Een simpele computer denkt dan: "Dit lijkt op 'huis', dus dat is het." Maar dat kan fout zijn.
De oplossing van SignAgent: De regisseur kijkt naar alles tegelijk. "De handvorm lijkt op 'huis', maar de beweging is raar, en de context van de zin suggereert 'bouwen'. Laten we de specialisten erbij halen."
Het resultaat: De AI sorteert de woorden in de juiste volgorde, net als een redacteur die een verhaal herschrijft zodat het logisch loopt, in plaats van zomaar woorden te raden.

Taak 2: Het Groeperen van Variaties (ID Glossing)

In gebarentaal kan hetzelfde woord op verschillende manieren worden gedaan. Bijvoorbeeld, het woord "basketbal" kan met één hand of met twee handen worden gedaan. Voor een computer zijn dit vaak twee totaal verschillende dingen. Voor een mens is het duidelijk: het is hetzelfde woord, alleen een beetje anders gedaan.

Het probleem: Computers zien vaak twee verschillende "dansen" en denken dat het twee verschillende woorden zijn.
De oplossing van SignAgent: De regisseur kijkt naar de details. "Deze twee groepen mensen doen bijna hetzelfde, alleen de ene gebruikt de linkerhand en de ander de rechter. Maar de beweging en de vorm zijn bijna identiek."
Het resultaat: De AI groepeert deze variaties samen onder één "hoofdwoord". Het maakt de chaos van duizenden video's tot een nette, overzichtelijke lijst.

Waarom is dit zo speciaal?

Vroeger waren computers als een robot die alleen kijkt: "Ik zie een hand, dus dat is woord X."
SignAgent is als een menselijke vertaler die nadenkt: "Ik zie een hand, maar ik luister ook naar de context, ik check de regels in mijn boek, en ik vraag het aan mijn experts voordat ik een conclusie trek."

De Grootte van de Prestatie

Door deze slimme aanpak kunnen ze nu veel grotere datasets maken dan ooit tevoren. Het is alsof ze van het handmatig kopiëren van een boek overstappen op het gebruik van een slimme scanner die de tekst ook begrijpt en corrigeert.

Kortom: SignAgent is de eerste keer dat we een AI gebruiken die niet alleen "kijkt" naar gebaren, maar er ook echt over redeneert alsof het een taalkundige is. Dit helpt om gebarentaal beter te begrijpen, te vertalen en te bewaren voor de toekomst, zonder dat we duizenden mensen urenlang hoeven te laten werken.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Tekenstalen (Sign Languages, SL) zijn rijke visueel-gestische talen die worden uitgedrukt via gecoördineerde manuele en niet-manuele fonologische componenten (zoals handvorm, beweging, locatie en gezichtsuitdrukkingen). Het ontwikkelen van grote schaalbronnen voor SL wordt momenteel geblokkeerd door twee hoofdproblemen:

Tekort aan linguïstische nuance: Bestaande computationele methoden werken vaak op het niveau van "glosses" (woorden), maar negeren cruciale fonologische details.
Schaalbaarheidsbottleneck: Handmatige linguïstische annotatie is extreem tijdrovend en duur (meer dan één uur voor één minuut videomateriaal), waardoor het onhaalbaar is om grote, fonologisch bewuste datasets te creëren.

Er is een dringende behoefte aan systemen die linguïstisch redeneren kunnen toepassen op multimodale signalen om annotatie te automatiseren zonder de kwaliteit te verliezen.

Methodologie: SignAgent Framework

Het paper introduceert SignAgent, een nieuw agentisch framework dat Large Language Models (LLMs) combineert met linguïstische kennis en tools om schaalbare annotatie mogelijk te maken. Het systeem bestaat uit drie kerncomponenten:

1. Architectuur

SignAgent Orchestrator: Een redenerende LLM (decoder-only) die fungeert als centrale controller. Deze agent voert een ReAct-stijl redeneerlus uit: hij genereert een redeneertrace, beslist welk hulpmiddel aan te roepen of welke query naar de kennisgrafiek te sturen, en verwerkt het resultaat om de interne staat te updaten.
SignGraph: Een kennis-gebaseerde LLM-agent die fungeert als Retrieval-Augmented Generation (RAG) module. Deze heeft toegang tot twee gerichte kennisgrafieken:
- LexicalKnowledgeGraph: Bevat lexicaal items en fonologische componenten (handvorm, beweging, locatie).
- LinguisticKnowledgeGraph: Bevat linguïstische concepten en relaties uit referentiematerialen.
Hulpmiddelen (Tools): Een hiërarchisch systeem van tools:
- Base Tools: Lage-niveau modules voor fonologische analyse (bijv. Handshape Classifier, Movement Classifier, Location Classifier, Sign Segmentor) die pose- en videodata verwerken.
- Enhanced Tools: Bouwen voort op de Base Tools om gestructureerde, taakgerichte bewijslast te genereren (bijv. het samenvoegen van visuele en fonologische cues, rangschikking van kandidaten).

2. Taken en Werkstromen

Het framework wordt geëvalueerd op twee specifieke annotatietaken:

Taak 1: Pseudo-gloss Annotatie
- Doel: Toewijzen en ordenen van gloss-labels aan een videosegment op basis van een vertaalde zin.
- Proces: De agent gebruikt SignLemma om een set kandidaat-glosses te genereren. Vervolgens roept hij de GlossEvidenceCollector aan om multimodale bewijslast te verzamelen (visuele overeenkomst, fonologische overlap, handactiviteit, temporele coherentie). De Orchestrator weegt deze bewijzen om de juiste volgorde te bepalen, zonder nieuwe tokens te hallucineren (token-conservering).
Taak 2: ID-Glossing (Identificatie van Lexicale Varianties)
- Doel: Het identificeren en groeperen van verschillende visuele uitvoeringen van dezelfde lexicaal eenheid (bijv. "basketbal" met één hand vs. twee handen).
- Proces: De agent start met visuele clusters (via SignRep). Vervolgens gebruikt hij Clustered Phonological Analysis en Handedness Detector om fonologische overlap en handgebruik te analyseren. De agent beslist over het samenvoegen (MERGE) of behouden (KEEP) van clusters op basis van visuele afstand, fonologische overeenkomst en compatibiliteit van handgebruik.

Belangrijkste Bijdragen

Eerste Toepassing van Agentic Redenering: SignAgent is het eerste framework dat agentisch redeneren toepast op SL-annotatie, waarbij tool-versterkte multimodale bewijslast wordt gecombineerd met kennis-gebaseerde retrieval.
Incrementele Verbetering: Het paper demonstreert via incrementele baselines dat elke stap (van vaste pipelines naar LLM-redenering) consistente verbeteringen oplevert.
Open Data: De gegenereerde, curateerde data wordt publiek beschikbaar gesteld om linguïstisch onderbouwde SL-onderzoek te ondersteunen.
Interpretabiliteit: Elke beslissing van de agent is traceerbaar en gebaseerd op expliciete bewijslast uit de tools, wat het systeem auditabel maakt voor linguïsten.

Resultaten

De prestaties zijn geëvalueerd op datasets voor Britse Gebarentaal (BSL) en Amerikaanse Gebarentaal (ASL).

Pseudo-gloss Annotatie (BSL):
- SignAgent behaalde de beste resultaten vergeleken met baselines zoals Sign2GPT Lemmatization en een GBDT + fuzzy model.
- Op de moeilijkste ("Poor") subset verbeterde SignAgent de Longest Common Subsequence (LCS) met 47.02% (tegenover 34.52% voor de baseline) en verbeterde de rangcorrelatie (Kendall's $\tau$ ) van negatief (-0.333) naar positief (0.083). Dit toont aan dat de agent complexe herschikkingen beter kan oplossen.
ID-Glossing (ASL):
- SignAgent produceerde minder gefragmenteerde clusters dan de visuele baseline (SignRep).
- Entropie (H): Daalde van 1.910 naar 0.764 bits (minder gefragmenteerde clusters).
- Silhouette Coëfficiënt: Verbeterde van -0.0402 naar 0.0582 (betere scheiding en compactheid).
- Calinski-Harabasz Ratio: Steeg van 6.75 naar 7.58 (beter gedefinieerde clusters).
- Kwalitatieve analyse toonde aan dat SignAgent visueel verschillende maar fonologisch identieke varianten succesvol kon samenvoegen, waar visuele modellen faalden.

Betekenis en Conclusie

SignAgent bewijst dat agentische LLMs een schaalbare en betrouwbare oplossing kunnen zijn voor de annotatie van gebarentalen. Door fonologische kennis te integreren in het redeneerproces, overtreft het traditionele, statische pipelines aanzienlijk in zowel nauwkeurigheid als interpretabiliteit.

Het systeem is niet bedoeld als vervanging voor linguïstische experts, maar als een assisterend instrument dat de productiviteit van dataset-curatie drastisch verhoogt. De belangrijkste beperkingen blijven de afhankelijkheid van bestaande lexica en de beperkte modellering van niet-manuele en prosodische structuren. Toekomstig werk richt zich op het uitbreiden naar talen met minder bronnen en het verrijken van de toolset met morfologisch-syntactische analyses.