Predictive Authoring for Brazilian Portuguese Augmentative and Alternative Communication

Cette étude propose l'utilisation de BERTimbau pour prédire des pictogrammes dans les systèmes de communication alternative et augmentée pour le portugais brésilien, démontrant que la représentation des pictogrammes par leurs légendes, synonymes ou définitions offre des performances comparables, avec une précision optimale obtenue via les légendes.

L'essentiel

🗣️ Le Problème : Construire une phrase avec des images, c'est comme chercher une aiguille dans une botte de foin

Imaginez une personne qui ne peut pas parler ou écrire facilement (par exemple, une personne autiste ou ayant un handicap moteur). Pour communiquer, elle utilise un système spécial appelé CAA (Communication Augmentée et Alternative). C'est comme un tableau de bord rempli de milliers de petites images (des pictogrammes).

Pour dire "Je veux manger une pomme", l'utilisateur doit toucher l'image de "Je", puis "vouloir", puis "manger", puis "pomme".
Le problème ? Plus le vocabulaire est grand, plus c'est difficile de trouver la bonne image. C'est comme essayer de construire une phrase en cherchant chaque mot dans un immense dictionnaire papier, page par page. C'est lent et fatiguant.

🤖 La Solution : Un "Super Assistant" qui devine la suite

Les chercheurs de cet article ont eu une idée géniale : donner un cerveau à ce tableau de bord.

Ils ont créé un "assistant virtuel" (basé sur une intelligence artificielle appelée BERT, adaptée au portugais brésilien) qui apprend à deviner quelle image l'utilisateur veut mettre ensuite.

• L'analogie : C'est comme quand vous tapez un SMS sur votre téléphone et que l'ordinateur vous propose le mot suivant. Ici, au lieu de proposer des mots, l'ordinateur propose des images.

🛠️ Comment ont-ils fait ? (La recette de cuisine)

Pour entraîner ce "cerveau" artificiel, il fallait lui apprendre le portugais tel qu'il est utilisé par ces personnes. Mais il n'existe pas de livres de phrases pour ce type de communication. Alors, les chercheurs ont dû en inventer un :

1. La base humaine : Ils ont demandé à des experts (orthophonistes, parents) de donner des phrases types que les utilisateurs disent souvent.
2. L'ingrédient magique (GPT-3) : Comme ce n'était pas assez, ils ont demandé à une IA très puissante (GPT-3) de créer des milliers de nouvelles phrases en imitant le style des experts. C'est comme si un chef cuisinier avait demandé à un robot de créer des milliers de variations d'un plat pour s'assurer que le goût est parfait.
3. La transformation : Ils ont ensuite transformé ces phrases écrites en phrases d'images pour que l'IA puisse apprendre.

🎨 Le grand test : Comment représenter une image ?

C'est ici que l'article devient passionnant. Pour que l'IA comprenne une image, il faut lui donner une "étiquette". Les chercheurs ont testé quatre façons de décrire une image à l'IA :

1. Le mot écrit (La légende) : Si l'image est un chien, on dit à l'IA le mot "Chien".
2. Les synonymes : On dit à l'IA "Chien, toutou, toutou, toutou".
3. La définition (Le dictionnaire) : On dit à l'IA "Un animal à quatre pattes qui aboie".
4. L'image elle-même : On donne directement le dessin à l'IA pour qu'elle le regarde.

Le verdict ?

• Les synonymes sont les meilleurs pour que l'IA comprenne bien le contexte (elle fait moins d'erreurs de logique).
• Les légendes (les mots) sont les meilleurs pour que l'IA trouve exactement la bonne image rapidement.
• Les définitions fonctionnent bien, mais demandent plus de travail.
• Les images (les dessins) ? C'est un échec pour l'instant. L'IA a trop de mal à comprendre le dessin directement sans le mot associé. C'est comme essayer de deviner un mot en regardant un dessin flou sans avoir le dictionnaire sous la main : c'est trop difficile pour l'ordinateur pour l'instant.

💡 La conclusion en une phrase

Pour aider les personnes qui communiquent avec des images, le meilleur moyen est d'entraîner l'ordinateur avec des mots simples (les légendes) ou des mots similaires (synonymes), plutôt que de lui faire regarder les dessins. Cela permet de créer un système qui devine la suite de la phrase, rendant la communication beaucoup plus rapide, moins fatigante et plus fluide.

C'est comme passer d'un voyage à pied dans la boue à une voiture automatique : l'utilisateur arrive plus vite à destination avec moins d'effort ! 🚗💨

Résumé technique

1. Problématique

Les systèmes de Communication Alternative et Augmentée (CAA) permettent aux personnes ayant des besoins complexes de communication (NCC), telles que celles atteintes d'autisme, de paralysie cérébrale ou de troubles du langage, de communiquer en assemblant des pictogrammes. Cependant, à mesure que le vocabulaire de l'utilisateur s'élargit, la difficulté de trouver le pictogramme approprié pour compléter une phrase augmente considérablement.

Bien que des modèles prédictifs existent (basés sur des bases de connaissances ou des modèles statistiques n-grammes), leur adaptation aux autres langues que l'anglais et leur capacité à généraliser les besoins des utilisateurs restent limitées. Le défi principal réside dans le manque de corpus de données spécifiques à la CAA pour l'entraînement de modèles avancés comme BERT, ainsi que dans la question de la représentation optimale d'un pictogramme pour la prédiction : doit-on le traiter comme un mot (légende), un concept (définition/dictionnaire), un ensemble de synonymes, ou une image ?

2. Méthodologie

Les auteurs proposent une approche en deux étapes principales pour adapter le modèle BERTimbau (une version de BERT pour le portugais brésilien) à la prédiction de pictogrammes.

A. Construction d'un Corpus CAA Synthétique

Puisqu'aucun corpus CAA de grande envergure n'existe en portugais brésilien, les auteurs ont construit un jeu de données hybride :

1. Collecte humaine : 667 phrases uniques ont été collectées auprès de 17 experts (orthophonistes, psychologues, parents) via un questionnaire couvrant divers contextes (maison, école, loisirs).
2. Augmentation des données (Data Augmentation) : L'IA générative GPT-3 a été utilisée en mode few-shot learning pour générer 2 772 phrases supplémentaires basées sur les phrases humaines et un vocabulaire contrôlé (12 785 pictogrammes ARASAAC).
3. Nettoyage et Transformation : Les phrases générées ont été filtrées (suppression des contenus offensifs, vérification de la perplexité, longueur des phrases). Enfin, les phrases en langage naturel ont été converties en séquences de pictogrammes en utilisant un algorithme de désambiguïsation (K-Nearest Neighbor) basé sur les définitions et les mots-clés de la base de données ARASAAC.

• Résultat final : Un corpus de 13 796 phrases, dont la distribution linguistique (mots, bigrammes, trigrammes) a été validée comme similaire à celle des phrases humaines.

B. Fine-tuning du Modèle BERTimbau

Le modèle BERTimbau a été réentraîné avec les modifications suivantes :

• Adaptation du vocabulaire : Remplacement du vocabulaire WordPiece original par un vocabulaire d'identifiants uniques de pictogrammes (ARASAAC).
• Représentation des pictogrammes (Embeddings) : Les auteurs ont testé quatre stratégies pour représenter chaque pictogramme dans l'espace vectoriel du modèle :
  1. Légende (Caption) : Le mot ou l'expression associé au pictogramme.
  2. Synonymes : Un ensemble de mots liés au concept du pictogramme.
  3. Définition : La définition du dictionnaire associée au pictogramme (concatenée avec les mots-clés).
  4. Image : Représentation vectorielle extraite via un Vision Transformer (ViT) pré-entraîné.
• Entraînement : Le modèle a été fine-tuné avec une tâche de modélisation du langage masqué (MLM), en utilisant un taux d'apprentissage de $1 \times 10^{-5}$ et des batchs de 768 séquences.

3. Contributions Clés

• Création d'un Corpus CAA : Première construction d'un corpus de phrases CAA en portugais brésilien, combinant des données humaines et synthétiques, servant de ressource pour la recherche future.
• Évaluation Comparative des Représentations : Une analyse systématique de la manière dont les pictogrammes doivent être encodés pour les modèles de type Transformer (mot, concept, synonyme, image).
• Adaptation de BERT pour la CAA : Démonstration de la faisabilité de l'adaptation de modèles pré-entraînés multilingues pour des tâches de prédiction de symboles visuels dans des langues à ressources limitées.
• Code et Données Ouverts : Mise à disposition du code et du corpus généré pour la communauté scientifique.

4. Résultats

Les performances ont été évaluées selon la perplexité (PPL) et la précision Top-n (pour $n \in \{1, 9, 18, 25, 36\}$), simulant différentes tailles de grilles de sélection.

• Meilleures performances textuelles :
  • L'utilisation des synonymes a produit la perplexité la plus faible (14,282), indiquant une meilleure capacité de généralisation sur des données non vues.
  • L'utilisation des légendes (captions) a obtenu les précisions les plus élevées (ACC@1 = 0,237), surpassant légèrement les synonymes.
  • Les deux approches (légendes et synonymes) ont montré des performances globalement similaires et supérieures aux autres méthodes.
• Performances des définitions et images :
  • L'utilisation des définitions (même avec les embeddings d'entrée BERT) a donné des résultats inférieurs (PPL ~23, ACC@1 ~0,20).
  • L'utilisation des images (ViT) a été la moins performante (PPL > 100, ACC@1 < 0,01). Cela est attribué au décalage entre l'espace vectoriel des images et celui des embeddings textuels de BERT, nécessitant beaucoup plus de données et de temps d'entraînement pour converger.
• Conclusion sur la représentation : Le choix entre légendes et synonymes est une décision de conception. Les légendes sont plus simples à implémenter mais posent des problèmes d'ambiguïté si plusieurs pictogrammes partagent la même légende. Les synonymes améliorent la généralisation mais nécessitent une base de données de synonymes existante.

5. Signification et Implications

• Pour les développeurs de CAA : L'article fournit une feuille de route claire pour intégrer la prédiction de mots/pictogrammes dans les systèmes CAA. Il suggère que l'utilisation de légendes est souvent suffisante et efficace, évitant la complexité de l'intégration d'images ou de définitions complexes.
• Pour la recherche : L'étude démontre que les modèles de langage modernes (BERT) peuvent être adaptés avec succès à des domaines à faible ressources (comme la CAA) grâce à la génération de données synthétiques de haute qualité.
• Limites et Perspectives : L'étude reconnaît que les modèles n'ont pas été testés en conditions réelles avec des utilisateurs finaux. Les travaux futurs visent à évaluer l'impact réel sur la communication des utilisateurs et à développer des systèmes d'expansion de texte pour transformer les phrases télégraphiques en langage naturel complet.

En résumé, cet article valide l'efficacité des modèles Transformer pour la prédiction de pictogrammes en portugais brésilien et établit que la représentation textuelle (légende ou synonymes) est supérieure à la représentation visuelle directe dans le contexte actuel de l'architecture BERT.