Did somebody say "Gest-IT"? A pilot exploration of multimodal data management

Dit artikel presenteert een pilotstudie over de bouw en analyse van het multimodale 'Gest-IT'-corpus, dat via een drie-laags annotatiesysteem (orthografisch, prosodisch en gebaren) variaties in gebarenpatronen tussen ziende mensen en mensen met een visuele beperking onderzoekt.

De kern

"Gest-IT": Een nieuwe manier om te kijken naar wat we zeggen én hoe we bewegen

Stel je voor dat je een gesprek bijwoont. Je hoort de woorden, maar je ziet ook hoe mensen met hun handen gebaren, hoe ze met hun hoofd knikken of hoe ze hun wenkbrauwen fronsen. Tot nu toe hebben taalkundigen vooral gekeken naar het gezegde (de tekst), alsof ze alleen naar de tekst van een film kijken zonder de beelden. Maar communicatie is meer dan alleen woorden; het is een hele show met geluid, gezichtsuitdrukkingen en lichaamstaal.

De onderzoekers van het Gest-IT-project (een woordspeling op "Gest" voor gebaren en "IT" voor Italië) willen dit veranderen. Ze bouwen een speciale verzameling van gesprekken – een corpus – waarin ze niet alleen naar wat mensen zeggen kijken, maar ook precies vastleggen wat ze doen met hun lichaam.

Hier is hoe ze dat doen, vertaald in simpele taal:

1. Het probleem: De "blinde" taalkundige

Vroeger waren taalkundige verzamelingen vooral tekst. Dat is makkelijk te zoeken, maar het mist de magie van een echt gesprek. Als je iemand ziet schudden met zijn schouders terwijl hij zegt "Ik weet het niet", is dat gebaar misschien net zo belangrijk als de woorden zelf.
Het probleem is dat er geen standaard is om die gebaren te beschrijven. Vaak schrijven mensen op wat een gebaar betekent (bijvoorbeeld: "hij was teleurgesteld"), in plaats van hoe het eruit zag (bijvoorbeeld: "hij tilde zijn schouders op en draaide zijn handpalmen naar boven"). Dat is als een schilderij beschrijven door te zeggen "het is een mooi landschap", in plaats van te zeggen "er zijn blauwe strepen en groene vlekken".

2. De oplossing: Een drie-laags cakeje

De onderzoekers hebben een nieuwe manier bedacht om gesprekken op te schrijven. Ze zien een gesprek als een drie-laags cakeje dat perfect op elkaar moet liggen:

1. De bodem (Woorden): Wat wordt er precies gezegd? (De tekst).
2. De vulling (Klank): Hoe wordt het gezegd? (Is het hard, zacht, snel, met een pauze? Denk aan de muziek in een film).
3. De glazuur (Beweging): Wat doet het lichaam? (Handen, hoofd, gezicht).

Het unieke aan Gest-IT is dat ze deze drie lagen precies op hetzelfde moment opschrijven, zodat je later kunt zien: "Ah, op het moment dat hij dit woord zei, bewoog hij zijn hand precies zo."

3. De proefpersonen: Zien en niet-zien

Om te testen of het zien (of niet zien) van elkaar invloed heeft op gebaren, hebben ze een heel slim experiment opgezet. Ze hebben gesprekken geregistreerd tussen:

• Mensen met een visuele beperking (blind of slechtziend).
• Mensen met een goed zicht.

Ze hebben de gesprekken op verschillende manieren opgenomen:

• Gezicht tot gezicht: Ze kunnen elkaar zien.
• Rug tegen rug: Ze zitten met de rug naar elkaar toe, zodat ze elkaars gebaren niet kunnen zien.

Dit is als een test in een laboratorium: "Zeggen mensen met hun handen meer als ze denken dat de ander ze niet ziet?" Of: "Gebruiken blinde mensen andere gebaren dan ziende mensen?"

4. De techniek: Een digitale "vertaalmachine"

Hoe schrijf je een gebaar op zonder dat het subjectief wordt? Ze gebruiken een systeem dat Typannot heet.
Stel je voor dat je een gebaar niet beschrijft als "een schouderbeweging van teleurstelling", maar als een soort bouwplan. Het systeem kijkt naar de "bouwstenen" van het lichaam:

• Welke vingers bewegen?
• Beweegt de arm of de schouder?
• Hoe staat het hoofd?

Het is alsof ze een gebaar vertalen naar een soort "lettercode" (zoals muzieknoten), in plaats van een verhaal te vertellen. Zo kunnen computers en onderzoekers later precies zien hoe het gebaar eruitzag, zonder dat ze hoeven te gissen naar de betekenis.

5. Waarom is dit belangrijk?

Dit project is nog in de "proeffase" (een pilot), maar het is een grote stap vooruit.

• Voor onderzoekers: Het helpt om te begrijpen hoe taal en lichaam samenwerken.
• Voor technologie: Het kan helpen bij het maken van betere spraakherkenning of robots die beter begrijpen wat mensen bedoelen, zelfs als ze niet alles zeggen.
• Voor inclusie: Het geeft een stem (en een beweging) aan mensen met een visuele beperking in de taalwetenschap.

Kortom: Gest-IT is als het maken van een 3D-film van een gesprek, in plaats van alleen de tekst van het script. Ze proberen de "dans" van het gesprek vast te leggen, zodat we in de toekomst niet alleen horen wat mensen zeggen, maar ook echt begrijpen wat ze bedoelen met hun hele lichaam.

Technische samenvatting

Titel: Did somebody say 'Gest-IT'? Een pilot-exploratie van multimodaal datamanagement

1. Het Probleem

De linguïstiek staat voor twee belangrijke uitdagingen bij het bestuderen van gesproken taal en gebaren:

• Gebrek aan standaarden: Er is geen universeel geaccepteerd transcrip- en annotatiesysteem voor niet-verbale gedragingen (zoals gebaren). Bestaande systemen (zoals LASG of MUMIN) zijn vaak functioneel of interpretatief van aard (bijv. een "schouderbeweging" wordt gelabeld als "twijfel") in plaats van objectief de vorm te beschrijven. Dit maakt het moeilijk om de relatie tussen spraak en gebaren precies te analyseren.
• Ecologische validiteit: Veel bestaande multimodale corpora zijn gericht op specifieke taken (zoals het beschrijven van objecten) of vereisen dat deelnemers speciale apparatuur dragen (trackers, headsets). Dit verstoort de spontaniteit van de interactie. Er ontbreekt een ecologisch geldig, toegankelijk multimodaal corpus voor het Italiaans dat spontane interacties tussen ziende en visueel gehandicapte personen vastlegt.

2. Methodologie

Het Gest-IT project heeft een pilot-corpus ontwikkeld met de volgende methodologische pijlers:

• Datacollectie en Opzet:

  • Deelnemers: 14 deelnemers (6 visueel gehandicapt, 8 ziend) werden in paren geplaatst voor 30 minuten aan spontane gesprekken.
  • Experimentele condities: De interacties werden gevarieerd op basis van twee parameters:
    1. Zichtbaarheid: Zelfde conditie (beide blind of beide ziend) vs. Verschillende conditie (blind-zijdend).
    2. Positie: Ongemaskerd (tegenover elkaar) vs. Gemaskerd (rug tegen rug, zodat non-verbale communicatie niet zichtbaar is).
  • Opname: 13 gesprekken (totaal ~7 uur) werden opgenomen vanuit drie hoeken (centraal, links, rechts) met Logitech-webcams om gebaren vanuit alle perspectieven te vangen.

• Drie-laags Transcriptie:
  Het corpus maakt gebruik van een gecoördineerde drie-laags annotatie:

  1. Orthografisch: Tekstuele transcriptie van de spraak.
  2. Prosodisch: Intonatie, pauzes, overlappingen en volume, gebaseerd op een vereenvoudigde versie van het Jefferson-systeem (gebruikt in het KIParla-corpus).
  3. Gebaren: Objectieve transcrip- tie van gebaren onafhankelijk van betekenis.

• Technische Infrastructuur:

  • Software: ELAN wordt gebruikt voor tijd-gebaseerde synchronisatie van video, audio en transcripties.
  • Opslag en Workflow: Een Git-repository beheert de versiecontrole. Metabestanden in .yaml-formaat definiëren deelnemers en gesprekken. CI/CD-scripts (Continuous Integration/Continuous Deployment) controleren automatisch de consistentie van de data (bijv. correcte laagnamen, geldige Jefferson-notatie).
  • Formaat: De uiteindelijke data wordt gestructureerd in CoNLL-U formaat (Universal Dependencies), wat interoperabiliteit garandeert. Specifieke MISC-velden worden toegevoegd voor gebareninformatie.

• Gebarenannotatie (Typannot):
  In plaats van functionele labels, maakt het project gebruik van Typannot. Dit is een typografisch systeem oorspronkelijk ontwikkeld voor gebarentalen, dat gebaren beschrijft op basis van articulatorische parameters (lichaamsdelen en hun dynamiek) in plaats van betekenis. Het systeem focust op drie systemen:

  • Finger (F): Vingers (rechter- en linkerhand).
  • UpperLimb (UL): Armen en handen.
  • UpperBody (UB): Torso, nek en hoofd.

3. Belangrijkste Bijdragen

• Eerste ecologisch geldig Italiaans multimodaal corpus: Het biedt een bron van spontane interacties tussen ziende en visueel gehandicapte sprekers zonder verstoring door apparatuur.
• Objectieve gebarentranscriptie: Het introduceert een nieuwe aanpak waarbij gebaren worden getranscribeerd op basis van hun fysieke vorm (via Typannot) en niet op basis van hun pragmatische functie. Dit lost het probleem op van subjectieve interpretatie in eerdere corpora.
• Gestandaardiseerde workflow: Het paper presenteert een robuust technisch protocol voor datamanagement, inclusief versiebeheer via Git, automatische validatie en het gebruik van CoNLL-U als unificerend formaat voor zowel tekst als gebaren.
• Integratie van lagen: Het koppelt orthografische, prosodische en gebarenlagen nauwkeurig aan elkaar, waardoor de interactie tussen spraak en gebaren in real-time analyseerbaar wordt.

4. Resultaten (Pilotfase)

• Er zijn 13 gesprekken opgenomen met een totale duur van ongeveer 428 minuten.
• Een pilot-transcriptie van 1 minuut is reeds voltooid om de haalbaarheid van de workflow te testen.
• De metadata-structuur (zoals weergegeven in Tabel 5) is gedefinieerd om zowel spraakeenheden als gebareneenheden te beschrijven binnen hetzelfde CoNLL-U framework.
• De experimentele opzet (rug-aan-rug vs. tegenover elkaar) heeft succesvol variatie in gebarenproductie opgeleverd, afhankelijk van of de spreker de ander kon zien.

5. Betekenis en Toekomst

Het paper is van groot belang voor de computertaalwetenschap en linguïstiek omdat het een brug slaat tussen de analyse van gesproken taal en non-verbale communicatie.

• Wetenschappelijke impact: Het stelt onderzoekers in staat om te onderzoeken hoe visuele beperkingen de gebarenproductie beïnvloeden en hoe gebaren fungeren als een geïntegreerde semiotische bron in plaats van een bijzaak.
• Toekomstige stappen: Het project bevindt zich nog in een exploratief stadium. De volgende stappen omvatten het volledig transcriberen van alle opnames, een grondige revisie, pseudonimisering en het uitbreiden van het corpus met extra annotatielagen.

Samenvattend biedt Gest-IT een nieuw raamwerk voor het bouwen van multimodale corpora dat de nadruk legt op objectiviteit, ecologische validiteit en technische interoperabiliteit.