Predictive Authoring for Brazilian Portuguese Augmentative and Alternative Communication

Este artigo propõe o uso do modelo BERTimbau, finetunado em um corpus específico de AAC em português brasileiro, para prever pictogramas em sistemas de comunicação alternativa, demonstrando que representá-los por meio de legendas resulta na maior acurácia, embora sinônimos ofereçam menor perplexidade.

O essencial

🗣️ O Problema: A "Caixa de Brinquedos" Gigante

Imagine que você precisa se comunicar, mas não consegue falar ou escrever com facilidade. Você usa um sistema especial (chamado AAC) que funciona como uma caixa de brinquedos gigante. Dentro dessa caixa, em vez de blocos de montar, você tem cartões com desenhos (pictogramas) que representam coisas como "comida", "brincar", "dormir" ou "água".

Para dizer "Eu quero comer bolo", você precisa pegar o cartão "Eu", depois o "Quero", depois "Comer" e por fim "Bolo".

O problema é que, conforme o vocabulário cresce, essa caixa de brinquedos fica imensa. Encontrar o cartão certo no meio de milhares de opções é como tentar achar uma agulha em um palheiro. Isso cansa e deixa a pessoa frustrada.

🤖 A Solução: Um "Adivinho" Inteligente

Os autores deste artigo queriam criar um assistente inteligente (uma IA) que olhasse para o que você já escolheu e dissesse: "Ei, você já escolheu 'Eu' e 'Quero'. O que vem a seguir? Talvez 'Comer' ou 'Beber'?".

Isso é chamado de Previsão de Pictogramas. É como quando o seu celular de texto sugere a próxima palavra, mas aqui, em vez de palavras, ele sugere desenhos.

🇧🇷 O Desafio: Falta de "Livros de História"

Para ensinar essa IA a ser inteligente, você precisa de muitos exemplos de frases que pessoas reais usam. O problema é que, para o Português Brasileiro, não existia um "livro de histórias" (um banco de dados) grande o suficiente com frases feitas por pessoas que usam esses sistemas.

A Estratégia Criativa:
Os pesquisadores fizeram uma mistura genial:

1. Pediram ajuda a especialistas: Conversaram com fonoaudiólogos e pais para coletar frases reais que eles usam no dia a dia.
2. Convidaram um "Robô Escritor": Usaram uma inteligência artificial poderosa (o GPT-3) para ler essas frases e criar milhares de novas frases parecidas. Foi como ter um aluno muito estudioso que leu 100 livros e agora consegue escrever histórias novas no mesmo estilo.

Assim, eles criaram um corpus (conjunto de dados) enorme e personalizado para o português, pronto para treinar a IA.

🎨 O Grande Mistério: Como "Ensinar" a IA a Ver um Desenho?

Aqui está a parte mais interessante do artigo. Para a IA prever o próximo desenho, ela precisa entender o que aquele desenho significa. Os pesquisadores testaram quatro maneiras diferentes de "traduzir" o desenho para a linguagem da máquina:

1. A Legenda (O Rótulo): A IA lê apenas a palavra escrita embaixo do desenho (ex: "Gato").
   • Analogia: É como ler o nome de um prato no cardápio.
2. Os Sinônimos (Os Amigos): A IA lê a palavra e também palavras parecidas (ex: "Gato", "Felino", "Bichano").
   • Analogia: É como ter várias dicas de um quebra-cabeça para adivinhar a peça.
3. A Definição (A Explicação): A IA lê uma explicação do que é o desenho (ex: "Gato: animal doméstico que mia").
   • Analogia: É como ler a biografia completa do personagem.
4. A Imagem (O Desenho em Si): A IA tenta "ver" a imagem diretamente.
   • Analogia: É como mostrar a foto do prato para a IA, em vez de ler o nome.

🏆 O Resultado: Quem Ganhou?

Os pesquisadores testaram todas essas abordagens e descobriram coisas importantes:

• A Imagem não foi a campeã: Tentar fazer a IA "ver" o desenho foi difícil e demorado, e não funcionou tão bem quanto ler o texto. É como tentar ensinar alguém a cozinhar mostrando apenas a foto do prato pronto, sem dar a receita.
• A Legenda vs. Sinônimos:
  • Usar Sinônimos fez a IA ficar mais "segura" e entender melhor o contexto (menor perplexidade).
  • Usar apenas a Legenda (a palavra simples) fez a IA acertar mais vezes o próximo item exato (maior precisão).

A Conclusão Prática: Não existe uma resposta única de "melhor". Depende do que você precisa. Se você quer que a IA seja muito precisa em acertar a palavra exata, use a legenda. Se quer que ela entenda bem o contexto geral, use sinônimos.

💡 Por que isso importa?

Este trabalho é como abrir uma porta para o futuro da comunicação. Ao criar um método que funciona bem para o Português Brasileiro, os pesquisadores estão ajudando a desenvolver sistemas que:

• Fazem a comunicação ser mais rápida (menos cliques).
• Reduzem a frustração de quem não consegue falar.
• Permitem que crianças e adultos com dificuldades de comunicação expressem seus desejos, vontades e sentimentos com mais facilidade e autonomia.

Em resumo: eles ensinaram uma máquina a "adivinhar" o que você quer dizer usando desenhos, tornando a vida de quem precisa desses sistemas muito mais leve e eficiente.

Resumo técnico

1. Problema

Pessoas com Necessidades Complexas de Comunicação (CCN) frequentemente dependem de Sistemas de Comunicação Aumentativa e Alternativa (CAA) baseados em pictogramas para se expressar. Embora esses sistemas permitam a construção de frases através da seleção sequencial de cartões de comunicação, a eficiência diminui à medida que o vocabulário do usuário cresce, tornando difícil encontrar o item desejado.
O desafio principal identificado é a falta de corpora específicos em Português Brasileiro para treinar modelos de linguagem modernos (como BERT) para a previsão de pictogramas. Trabalhos anteriores utilizaram corpora de linguagem natural adaptados ou modelos estatísticos simples (n-gramas), que possuem limitações de generalização e não capturam bem o contexto semântico complexo. Além disso, há uma lacuna de conhecimento sobre a melhor forma de representar um pictogramas (apenas o texto da legenda, o conceito/definição, sinônimos ou a imagem) para alimentar modelos baseados em Transformers.

2. Metodologia

Os autores propõem um pipeline completo para o ajuste fino (fine-tuning) do BERTimbau (uma versão do BERT treinada em Português Brasileiro) para a tarefa de previsão de pictogramas. A metodologia divide-se em duas etapas principais:

A. Construção do Corpus de CAA

Como não existia um corpus de sentenças baseadas em pictogramas em português, os autores construíram um dataset sintético através de um pipeline de quatro etapas:

1. Coleta: Sentenças reais foram coletadas de fonoaudiólogos, psicólogos e pais de crianças com CCN (667 sentenças únicas) em diversos contextos (casa, escola, lazer).
2. Aumento de Dados (Data Augmentation): Utilizou-se o modelo GPT-3 (via API OpenAI) com few-shot learning para gerar milhares de sentenças sintéticas similares às coletadas, baseando-se tanto nas sentenças humanas quanto no vocabulário controlado do conjunto de dados ARASAAC (12.785 pictogramas).
3. Limpeza de Dados: Remoção de conteúdo ofensivo, filtragem baseada em perplexidade (usando o próprio BERTimbau) e remoção de sentenças muito curtas ou longas.
4. Transformação Texto-Pictograma: As sentenças em linguagem natural foram convertidas em sequências de identificadores de pictogramas. Para resolver ambiguidades (ex: a palavra "banco" pode ter múltiplos pictogramas), utilizou-se o BERTimbau para codificar a sentença alvo e as definições dos pictogramas, aplicando o algoritmo K-Nearest Neighbor (KNN) para selecionar o pictograma mais relevante.

O corpus final contém 13.796 sentenças.

B. Ajuste Fino do Modelo (Fine-tuning)

O BERTimbau foi adaptado para o domínio de CAA:

• Vocabulário: A camada de embeddings foi substituída para aceitar identificadores únicos de pictogramas (em vez de sub-palavras WordPiece).
• Representação de Pictogramas: Foram testadas quatro abordagens para gerar os vetores de entrada (embeddings) dos pictogramas:
  1. Legenda (Caption): Usando o texto da palavra/frase associada ao pictograma.
  2. Sinônimos: Usando uma lista de palavras relacionadas ao pictograma.
  3. Definição: Usando a definição do dicionário do ARASAAC (testado tanto com embeddings de entrada quanto com a saída da camada [CLS]).
  4. Imagem: Usando um Vision Transformer (ViT) pré-treinado no ImageNet para gerar embeddings visuais.

O modelo foi treinado com a tarefa de Masked Language Modeling (MLM), onde 15% dos tokens são mascarados e o modelo deve prever o pictograma correto.

3. Contribuições Chave

• Primeiro Corpus de CAA em Português Brasileiro: Criação e disponibilização de um dataset sintético robusto, validado por especialistas, contendo milhares de sentenças estruturadas para treinamento de modelos de linguagem em CAA.
• Análise Comparativa de Representação: Estudo sistemático sobre como representar pictogramas em modelos Transformer, comparando legendas, sinônimos, definições e imagens.
• Adaptação de BERT para CAA: Demonstração de como adaptar um modelo de linguagem pré-treinado (BERTimbau) para um vocabulário controlado de pictogramas, superando modelos baseados em n-gramas e bancos de conhecimento.
• Código Aberto: Disponibilização do código e dos dados para replicação e uso pela comunidade.

4. Resultados

Os modelos foram avaliados usando Perplexidade (PPL) e Acurácia Top-n (simulando grades de seleção de tamanhos variados: 1, 9, 18, 25 e 36 opções).

• Desempenho Geral: Modelos baseados em texto (legendas, sinônimos, definições) superaram significativamente os baseados em imagem.
• Melhor Acurácia: O uso de legendas (captions) resultou nas maiores taxas de acurácia (ex: 23,7% em Top-1, 70,2% em Top-36).
• Menor Perplexidade: O uso de sinônimos resultou na menor perplexidade (14,28), indicando que o modelo generalizou melhor os dados não vistos, embora a acurácia absoluta fosse ligeiramente inferior à das legendas.
• Definições: O uso de definições (especialmente a média dos vetores de entrada) teve desempenho intermediário, mas inferior às legendas e sinônimos.
• Imagens: O uso de embeddings de imagens (ViT) resultou em desempenho muito pobre (alta perplexidade e baixa acurácia), sugerindo que, para esta tarefa específica, a representação visual não se alinha bem com o espaço vetorial do BERT sem um treinamento massivo e específico, ou que o contexto semântico do texto é mais determinante.

Conclusão dos Resultados: A escolha entre usar legendas ou sinônimos é uma decisão de design. Legendas oferecem maior precisão imediata, enquanto sinônimos oferecem melhor generalização estatística, desde que uma base de dados de sinônimos esteja disponível.

5. Significado e Impacto

Este trabalho fornece insights cruciais para pesquisadores e desenvolvedores de sistemas de CAA:

• Viabilidade de IA Generativa: Demonstra que é possível criar corpora sintéticos de alta qualidade para domínios de baixo recurso (como CAA em português) usando LLMs, superando a barreira da falta de dados anotados.
• Otimização de Sistemas de CAA: A implementação de modelos preditivos baseados em BERT pode reduzir o esforço de comunicação (número de toques necessários), aumentar a taxa de palavras por minuto e oferecer suporte gramatical e ortográfico para usuários com CCN.
• Direcionamento Futuro: O estudo indica que, para o português brasileiro, focar na representação textual (legenda/sinônimos) é mais eficaz do que tentar integrar representações visuais diretamente no modelo de linguagem neste estágio.
• Acesso: Ao fornecer um modelo e um corpus específicos para o português, o trabalho democratiza o desenvolvimento de ferramentas de CAA de alta tecnologia para falantes de português, que anteriormente dependiam de soluções em inglês.

Em suma, o artigo valida a eficácia do uso de modelos Transformer ajustados para a previsão de pictogramas em português, estabelecendo uma nova base para o desenvolvimento de sistemas de comunicação mais inteligentes e eficientes.