Predictive Authoring for Brazilian Portuguese Augmentative and Alternative Communication

Dit artikel introduceert een voorspellend auteurschapssysteem voor Braziliaans-Portugese AAC-toepassingen dat de BERTimbau-modellen gebruikt om pictogrammen te voorspellen op basis van hun bijschriften, synoniemen of definities, waarbij bijschriften de hoogste nauwkeurigheid bieden.

De kern

Hoe een slimme computer helpt om te praten met plaatjes (voor mensen die niet kunnen spreken)

Stel je voor dat je een taal spreekt die bestaat uit plaatjes in plaats van woorden. Voor mensen met complexe communicatiebehoeften (zoals autisme, cerebral parese of een spraakstoornis) is dit vaak hun enige manier om te communiceren. Ze gebruiken een digitaal bord met duizenden plaatjes (zogenaamde pictogrammen). Om een zin te maken, moeten ze deze plaatjes één voor één selecteren en in de juiste volgorde zetten.

Het probleem? Als je vocabulaire groeit, wordt het zoeken naar het juiste plaatje als het vinden van een naald in een hooiberg. Het kost tijd, moeite en frustratie.

Deze paper beschrijft een slimme oplossing: een voorspellende computer die helpt bij het kiezen van het juiste plaatje, net als je telefoon die suggereert welk woord je waarschijnlijk gaat typen.

Hier is hoe ze dit hebben gedaan, vertaald in alledaagse taal:

1. Het probleem: De computer begrijpt plaatjes niet

Computers zijn geweldig in het voorspellen van woorden (zoals "Ik wil een..." -> "appelsap"). Maar ze begrijpen geen plaatjes. Een plaatje is voor een computer slechts een kleurrijk vierkantje zonder betekenis.

De onderzoekers wilden een slimme computer (een model genaamd BERT) leren om plaatjes te "begrijpen" en te voorspellen. Maar er was een groot obstakel: er bestond geen groot boek met zinnen in het Braziliaans-Portugees die gemaakt zijn met plaatjes. Zonder zo'n boek kan een slimme computer niet leren.

2. De oplossing: Het bouwen van een "Plaatjes-boek"

Om de computer te trainen, moesten ze eerst een eigen boek schrijven. Ze deden dit in drie stappen:

• Stap 1: De experts. Ze vroegen logopedisten en ouders om zinnen te schrijven die kinderen met communicatieproblemen vaak gebruiken (bijv. "Ik wil water" of "Ik ben moe").
• Stap 2: De robot-assistent. Omdat dit niet genoeg was, gebruikten ze een super-slimme AI (GPT-3) om duizenden nieuwe zinnen te bedenken die leken op die van de experts. Het was alsof ze een robot vroegen om een verhaal te schrijven in de stijl van een kind.
• Stap 3: Vertalen naar plaatjes. Vervolgens vertaalden ze al die tekstzinnen terug naar plaatjes. "Ik wil water" werd een rijtje plaatjes: [IK] [WIL] [WATER].

Zo hadden ze een groot trainingsboek voor hun computer.

3. De grote vraag: Hoe vertel je de computer wat een plaatje is?

Dit is het hart van het onderzoek. Als je een computer vraagt om het volgende plaatje te voorspellen, hoe geef je de computer dan te zien wat dat plaatje voorstelt? De onderzoekers testten vier verschillende manieren, als proefjes in een laboratorium:

1. De bijschrift-methode: Je geeft de computer alleen het woordje onder het plaatje (bijv. "hond").
   • Analogie: Je beschrijft een dier alleen met zijn naam.
2. De synoniemen-methode: Je geeft de computer een lijst met woorden die hetzelfde betekenen (bijv. "hond", "puppy", "viervoeter").
   • Analogie: Je beschrijft het dier met verschillende namen, zodat de computer het concept beter snapt.
3. De definitie-methode: Je geeft de computer een uitleg uit een woordenboek (bijv. "een huisdier dat blaft").
   • Analogie: Je geeft de computer een volledige beschrijving van wat het dier doet.
4. De foto-methode: Je geeft de computer de foto van het plaatje zelf.
   • Analogie: Je houdt een foto voor de neus van de computer.

4. Wat bleek eruit?

De resultaten waren verrassend en leerzaam:

• De foto's waren een mislukking: Het gebruik van de daadwerkelijke afbeeldingen werkte slecht. De computer werd er niet slimmer van. Het was alsof je iemand een foto van een appel laat zien, maar je vraagt hem om te raden welke vrucht er in een fruitstoep zit. De computer kon de foto niet goed koppelen aan de zinnen.
• Woorden werken het beste: Het gebruik van tekst (de bijschriften of synoniemen) werkte veel beter.
  • Als je de computer synoniemen gaf, begreep hij de zinnen het beste (de "verwarring" was het laagst).
  • Maar als je de computer alleen de bijschriften gaf, raakte hij de juiste plaatjes het vaakst goed.

De conclusie: Het hangt af van wat je wilt. Wil je dat de computer de zinnen heel goed begrijpt? Geef hem synoniemen. Wil je dat hij het snelst het juiste plaatje raadt? Geef hem de simpele bijschriften.

Waarom is dit belangrijk?

Voor een kind dat niet kan spreken, betekent dit dat hun communicatiebord slimmer kan worden. In plaats van dat ze urenlang moeten zoeken naar het plaatje "ijsje", kan het bord nu zeggen: "Ah, je hebt 'ik' en 'wil' gekozen, waarschijnlijk wil je 'ijsje'!"

Dit bespaart tijd, vermindert frustratie en maakt communicatie veel leuker en sneller. De onderzoekers hebben laten zien dat je dit systeem kunt bouwen voor het Braziliaans-Portugees, en dat dezelfde methode waarschijnlijk ook werkt voor andere talen.

Kortom: Ze hebben een slimme "plaatjes-detective" gebouwd die leert van tekst, en die nu helpt om de communicatie van mensen met spraakproblemen te versnellen.

Technische samenvatting

Probleemstelling

Mensen met complexe communicatiebehoeften (CCN), zoals autisme, cerebrale parese of afasie, maken vaak gebruik van Augmentatieve en Alternatieve Communicatie (AAC) systemen. Deze systemen laten gebruikers toe zinnen te vormen door pictogrammen (communicatiekaarten) in een volgorde te plaatsen.
Een groot probleem bij deze systemen is dat de zoektocht naar het gewenste pictogram steeds moeilijker wordt naarmate de woordenschat van de gebruiker groeit. Hoewel AI en voorspellende modellen (zoals taalmodellen) de communicatiesnelheid kunnen verhogen en de inspanning kunnen verminderen, ontbreekt er voor het Portugees (specifiek Braziliaans Portugees) een adequate oplossing. Bestaande modellen zijn vaak getraind op Engels of vereisen grote corpora die niet beschikbaar zijn voor AAC-contexten in het Portugees. Bovendien is het onduidelijk hoe een pictogram het beste gerepresenteerd moet worden voor een voorspellend model: als een woord (bijschrift), als een concept (synoniemen/definitie) of visueel (afbeelding).

Methodologie

De auteurs stellen een methode voor om BERTimbau (een Braziliaans-Portugese versie van BERT) te finetunen voor pictogramvoorspelling. De aanpak bestaat uit drie hoofdfasen:

1. Constructie van een AAC-corpus
Omdat er geen bestaand corpus is dat specifiek is opgebouwd uit AAC-zinnen, creëerden de auteurs een synthetisch corpus via een vierstapsproces:

• Verzameling: 17 experts (logopedisten, psychologen, ouders) leverden 667 unieke zinnen die typisch zijn voor AAC-gebruik in verschillende contexten (thuis, school, vrije tijd).
• Data Augmentatie: Met behulp van GPT-3 werden 2.772 extra zinnen gegenereerd op basis van de menselijke zinnen en een gecontroleerde woordenschat van ARASAAC (een database met 12.785 pictogrammen voor het Portugees).
• Data Cleaning: Onzin- of beledigende zinnen werden verwijderd, evenals zinnen met een te hoge perplexiteit (gemeten door BERTimbau) of een ongeschikte lengte.
• Tekst-naar-Pictogram Transformatie: Natuurlijke taalzinnen werden omgezet naar pictogramsequenties. Omdat één woord meerdere pictogrammen kan hebben (bijv. "bank" als meubel of financiële instelling), werd Word Sense Disambiguation toegepast. Hierbij werden de definities van de pictogrammen gecodeerd met BERTimbau en vergeleken met de zincontext via de K-Nearest Neighbor (KNN) algoritme.

2. Representatie van Pictogrammen
De auteurs testten verschillende manieren om pictogrammen te vertalen naar vectorrepresentaties (embeddings) voor het model:

• Bijschrift (Caption): De tekst die bij het pictogram hoort (woord of uitdrukking).
• Synoniemen: Een verzameling gerelateerde termen.
• Definitie: De woordenboekdefinitie van het pictogram.
• Afbeelding: Visuele representaties verwerkt via een Vision Transformer (ViT).

3. Finetuning van BERTimbau
Het model werd aangepast door de vocabulaire en de embedding-laag te vervangen zodat deze unieke pictogram-ID's in plaats van standaard sub-woorden verwerkt. Het model werd getraind met Masked Language Modeling (MLM), waarbij 15% van de tokens in de zinnen gemaskeerd werden en het model deze moest voorspellen op basis van de context.

Kernbijdragen

• Eerste AAC-corpus voor Braziliaans Portugees: De creatie van een dataset van 13.796 zinnen, specifiek opgebouwd voor AAC, inclusief de conversie van natuurlijke taal naar pictogramsequenties.
• Vergelijkend onderzoek naar representatie: Een systematische evaluatie van hoe pictogrammen het beste kunnen worden gerepresenteerd in transformer-modellen (woord vs. concept vs. beeld).
• Open source implementatie: De code en het corpus zijn beschikbaar gesteld voor verdere research en ontwikkeling.

Resultaten

De modellen werden geëvalueerd op perplexiteit (hoe goed het model de taal begrijpt; lager is beter) en Top-n nauwkeurigheid (hoe vaak het juiste pictogram in de top-n voorspellingen staat; hoger is beter). De grid-groottes (n) varieerden van 1 tot 36 om verschillende AAC-schermindelingen te simuleren.

• Bijschriften vs. Synoniemen:
  • Het gebruik van synoniemen resulteerde in de laagste perplexiteit (14,28), wat aangeeft dat het model de taalstructuur het beste generaliseert.
  • Het gebruik van bijschriften resulteerde in de hoogste nauwkeurigheid (ACC@1 = 0,237).
  • De verschillen waren echter niet groot genoeg om één methode als overtuigend beter te bestempelen; de keuze hangt af van de beschikbare data en de woordenschat.
• Definities: Het gebruik van definities presteerde slechter dan bijschriften en synoniemen, vooral wanneer de embedding uit de laatste encoder-laag werd gehaald.
• Afbeeldingen: Het gebruik van visuele embeddings (via ViT) resulteerde in zeer slechte prestaties (hoge perplexiteit, lage nauwkeurigheid). Dit wordt toegeschreven aan het feit dat de vectorruimte van afbeeldingen fundamenteel verschilt van de tekstuele embeddings van BERT, wat meer trainingsdata en tijd vereist dan beschikbaar was.

Betekenis en Conclusie

De studie toont aan dat het mogelijk is om effectieve pictogramvoorspellers te bouwen voor Braziliaans Portugees door gebruik te maken van een synthetisch corpus en een aangepast BERT-model.

• Designbeslissing: De keuze tussen het gebruik van bijschriften of synoniemen is een ontwerpbeslissing. Bijschriften zijn eenvoudiger te implementeren en leveren de beste nauwkeurigheid, terwijl synoniemen betere generalisatie bieden maar een externe database vereisen.
• Visuele input: Op dit moment voegt het toevoegen van afbeeldingen geen waarde toe aan de voorspellingkwaliteit in deze architectuur.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, is de studie beperkt door het ontbreken van evaluatie met echte gebruikers (met CCN). De auteurs plannen om de modellen te testen in een echte AAC-toepassing en te werken aan tekstuitbreidingssystemen die telegrafische zinnen omzetten in grammaticaal correct Portugees.

Deze paper biedt een solide basis voor ontwikkelaars van AAC-systemen om AI-gedreven voorspelling toe te passen in niet-Engelse talen, wat de communicatiesnelheid en -efficiëntie voor mensen met complexe communicatiebehoeften kan verbeteren.