💬 NLP

Retrieval-Augmented Long-Context Translation for Cultural Image Captioning: Gators submission for AmericasNLP 2026 shared task

A Universidade da Flórida Gators venceu a tarefa compartilhada cultural de legendagem de imagens para línguas indígenas das AmericasNLP 2026 ao empregar um pipeline de duas etapas que combina o Qwen2.5-VL para legendagem intermediária em espanhol com prompting de muitas amostras aumentado por recuperação usando o Gemini 2.5 Flash, alcançando melhorias de desempenho superiores a 120% sobre a linha de base em Bribri, Guaraní e Nahuatl de Orizaba.

Autores originais: Aashish Dhawan, Christopher Driggers-Ellis, Dzmitry Kasinets, Daisy Zhe Wang, Christan Grant

Publicado 2026-05-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aashish Dhawan, Christopher Driggers-Ellis, Dzmitry Kasinets, Daisy Zhe Wang, Christan Grant

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando escrever uma descrição curta e culturalmente perfeita de uma foto para uma comunidade que fala uma língua rara e antiga. O desafio é que você não fala bem essa língua e há muito poucos livros ou dicionários disponíveis para ajudá-lo.

Este artigo descreve como uma equipe da Universidade da Flórida (os "Gators") resolveu esse problema para uma competição chamada AmericasNLP 2026. Seu objetivo era pegar uma imagem e escrever uma legenda em uma das cinco línguas indígenas das Américas (como Guarani ou Bribri).

Veja como eles fizeram isso, dividido em etapas simples e analogias:

A Receita de Dois Passos

Em vez de tentar saltar diretamente da "Imagem" para a "Língua Rara", a equipe usou uma corrida de revezamento de dois passos:

Passo 1: O Tradutor (A Ponte): Primeiro, eles usaram uma IA superinteligente (chamada Qwen) para olhar a imagem e escrever uma descrição simples em espanhol. Pense no espanhol como uma "língua ponte" que a IA domina muito bem.
Passo 2: O Especialista Cultural (O Finalista): Em seguida, eles pegaram essa descrição em espanhol e pediram a uma IA diferente, ainda mais inteligente (Gemini), que a traduzisse para a língua indígena final.

O Segredo: "Mostre, Não Apenas Conte"

A verdadeira magia não estava apenas na tradução; estava em como eles ensinaram à IA qual "estilo" usar.

Geralmente, quando você pede a uma IA para traduzir, ela pode fornecer uma frase gramaticalmente correta, mas que soa como um robô ou um livro didático. A equipe queria que as legendas soassem como uma pessoa local falando naturalmente.

Para corrigir isso, eles usaram uma técnica chamada Geração Aumentada por Recuperação.

A Analogia: Imagine que você está escrevendo uma carta para um amigo em uma vila estrangeira. Em vez de apenas adivinhar como eles falam, você tira de uma caixa 100 cartas que outras pessoas escreveram para essa mesma vila. Você as lê para sentir a gíria, o tom e a estrutura das frases. Então, você escreve sua carta, imitando esse estilo.
No Artigo: Antes de a IA traduzir a legenda em espanhol, o sistema pesquisou uma vasta biblioteca de pares existentes de espanhol para línguas indígenas. Ele pegou os exemplos mais semelhantes (como as "100 cartas") e os mostrou à IA como um guia. Isso ajudou a IA a corresponder ao "registro" (o estilo cultural específico) exigido pela competição.

Os Resultados: Uma Grande Vitória

A equipe inscreveu esse sistema na competição e venceu.

A Pontuação: Eles melhoraram suas pontuações em margens enormes em comparação com a linha de base padrão. Por exemplo, na língua Bribri, eles melhoraram a pontuação em 164%. Em Guarani, melhoraram em 131%.
O Teste Humano: Quando juízes humanos analisaram as legendas, as entradas da equipe foram classificadas em segundo lugar entre cinco finalistas, provando que as legendas soavam naturais e culturalmente apropriadas.

O Que Eles Aprenderam (Os Momentos "Eureka!")

A equipe realizou muitos experimentos para ver o que funcionava e o que não funcionava, levando a três descobertas principais:

Nem Todas as Bibliotecas São Iguais: A "biblioteca" de exemplos que eles usaram funcionou maravilhas para o Guarani, porque tinham uma enorme coleção de 53.000 exemplos (incluindo alguns exemplos "falsos" gerados por computador que se mostraram muito úteis). No entanto, para o Maia Iucateco, eles tinham quase nenhum exemplo. Nesse caso, o próprio conhecimento interno da IA era melhor do que tentar forçá-la a usar uma biblioteca pequena e ruidosa.
O Impulso dos Dados "Falsos": Para o Guarani, cerca de 28 pontos de seu sucesso vieram especificamente do uso desses exemplos gerados por computador. É como ter um treinador de prática que cria exercícios extras para você estudar.
O Tom Importa (Especialmente para o Bribri): A língua Bribri tem sons complexos (tons) que mudam o significado das palavras. A equipe descobriu que simplesmente traduzir não era suficiente; eles tiveram que dar instruções especiais à IA sobre como lidar com esses sons e a ordem das palavras. Era como dizer à IA: "Lembre-se, nesta língua, o verbo vai no final e não se esqueça das notas musicais!"

O Problema (Limitações)

A equipe admite que seu sistema ainda não é perfeito:

A Reação em Cadeia: Se a primeira IA (o tradutor para espanhol) cometer um erro ao descrever a imagem, a segunda IA (o tradutor) traduzirá esse erro perfeitamente. Não há botão de "desfazer".
A Armadilha da Pontuação no Teste: Eles usaram exemplos do "teste de prática" (conjunto de desenvolvimento) para ajudar a IA a aprender o estilo. Isso funcionou muito bem para as pontuações de prática, mas é um pouco como estudar as respostas exatas de um quiz de prática antes de fazer a prova real. Isso pode inflar a pontuação, então eles são cuidadosos sobre como interpretam esses resultados.

Resumo

A equipe da Universidade da Flórida venceu ao construir um pipeline que primeiro descreve uma imagem em espanhol e, em seguida, usa uma vasta biblioteca de exemplos semelhantes para ensinar uma IA a traduzir essa descrição para línguas indígenas com o sabor cultural correto. Eles provaram que, para línguas de baixos recursos, contexto e guias de estilo são tão importantes quanto a própria tradução.

Resumo Técnico: Tradução de Longo Contexto Aumentada por Recuperação para Legendagem Cultural de Imagens

Declaração do Problema
O artigo aborda a tarefa compartilhada AmericasNLP 2026, que exige a geração de legendas de imagens fundamentadas culturalmente em cinco línguas indígenas das Américas: Guaraní, Maia Iucateco, Nahuatl de Orizaba, Bribri e Wixárika. Os autores identificam três desafios principais: as línguas-alvo são de baixos recursos; as legendas devem ser culturalmente específicas, e não descrições visuais genéricas; e o sistema deve alcançar controle estilístico preciso para corresponder a um registro específico (frases curtas e naturais). Os autores observam que os Modelos Visão-Linguagem (VLMs) padrão falham ao gerar legendas diretamente nessas línguas-alvo devido a dados de treinamento limitados, e que os pipelines padrão de Tradução Automática Neural (NMT) (especificamente sistemas baseados em mBART) falham em capturar o registro cultural necessário, frequentemente produzindo saídas fluentes, mas estilisticamente incompatíveis.

Metodologia
A equipe University of Florida Gators propõe um pipeline de duas etapas que migra da tradução sequência-para-sequência para a aprendizagem em contexto aumentada por recuperação usando Modelos de Linguagem de Grande Porte (LLMs).

Etapa 1: Legendagem Intermediária: Um VLM (Qwen2.5-VL-72B ou Qwen3-VL-8B) gera uma legenda em espanhol, culturalmente consciente e com substantivo no início, para cada imagem de entrada. Esta etapa é tratada como um componente fixo.
Etapa 2: Tradução Aumentada por Recuperação: A legenda em espanhol serve como consulta para um sistema de recuperação BM25 sobre um corpus paralelo específico por língua, do espanhol para a Língua-Alvo (Es-LoRes).
- Construção do Prompt: O prompt final é um contexto de "muitos exemplos" contendo:
  - Exemplos de Treinamento Recuperados ( $R_r$ ): $r$ pares de texto em espanhol e na língua-alvo recuperados com base na similaridade lexical à consulta.
  - Exemplares de Desenvolvimento ( $D_d$ ): $d$ exemplos padrão-ouro do conjunto de desenvolvimento da tarefa compartilhada para guiar o registro estilístico.
- Geração: Um LLM (principalmente Gemini 2.5 Flash) traduz a legenda em espanhol para a língua-alvo, condicionado aos exemplos recuperados e de desenvolvimento. O sistema utiliza uma temperatura de 0,0 e desativa modos de "pensamento" para garantir uma saída concisa.
- Adaptações Específicas por Língua:
  - Guaraní: Utiliza um grande banco de recuperação (53 mil+ pares) aumentado com dados sintéticos do projeto MultiScript30k.
  - Maia Iucateco: Não existe banco de recuperação externo; o sistema depende exclusivamente de exemplares de desenvolvimento e do conhecimento pré-treinado do LLM ( $r=0$ ).
  - Bribri: Requer pós-processamento morfológico específico (normalização NFD) para lidar corretamente com diacríticos tonais e prompts especializados para a ordem das palavras Sujeito-Objeto-Verbo (SOV) e prefixos possessivos.

Principais Contribuições

Arquitetura do Pipeline: Os autores apresentam um pipeline de LLM aumentado por recuperação que supera as bases tradicionais de NMT ajustadas por fine-tuning para legendagem cultural de baixos recursos.
Estudos de Ablação Extensivos: O artigo documenta um conjunto abrangente de experimentos variando escolhas de modelos (OpenAI vs. Gemini), tamanhos de recuperação ( $r$ ), contagens de exemplares de desenvolvimento ( $d$ ) e estratégias de prompt.
Avaliação de Dados Sintéticos: O estudo isola o impacto do aumento de dados sintéticos, encontrando-o como um fator crítico para o desempenho em Guaraní.
Insights Metodológicos: Os autores destacam que a eficácia da recuperação é altamente dependente da língua e que o uso de exemplos do conjunto de desenvolvimento como prompts em contexto pode inflar as pontuações de desenvolvimento, exigindo interpretação cuidadosa.

Resultados
O sistema alcançou o status de vencedor geral da tarefa compartilhada, ficando em segundo lugar nas avaliações humanas das legendas na língua-alvo.

Ganhos de Desempenho: O sistema alcançou melhorias significativas sobre a linha de base da tarefa compartilhada (Gow-Smith e Sánchez Villegas, 2023) no conjunto de desenvolvimento:
- Bribri: 164,1% de melhoria.
- Guaraní: 131,7% de melhoria.
- Nahuatl de Orizaba: 122,6% de melhoria.
- Wixárika: 6,87% de melhoria.
Desempenho no Conjunto de Teste: As melhorias foram mantidas para Bribri (155,2%) e Nahuatl de Orizaba (166,9%) no conjunto de teste. No entanto, o desempenho em Guaraní caiu significativamente na avaliação de teste, com os autores observando que os ganhos do conjunto de desenvolvimento não foram totalmente reproduzidos.
Comparação de Modelos: O Gemini 2.5 Flash demonstrou desempenho dramaticamente superior na tradução em contexto Es-LoRes em comparação com modelos da OpenAI (GPT-4o-mini, GPT-4.1) e a linha de base mBART.
Impacto de Dados Sintéticos: Estudos de ablação revelaram que exemplares sintéticos do MultiScript30k responderam por aproximadamente 28 pontos de chrF++ do ganho de desempenho em Guaraní. Sem dados sintéticos, o desempenho em Guaraní caiu mais de 50% em relação ao melhor resultado aumentado por sintéticos.
Tratamento Morfológico: Para Bribri, a combinação de normalização NFD e prompts morfológicos contribuiu com mais de 10% do ganho total de desempenho sobre a linha de base.

Significado e Alegações
O artigo alega que a aprendizagem em contexto aumentada por recuperação é uma alternativa viável e superior ao ajuste fino de NMT para legendagem cultural de imagens de baixos recursos, desde que o corpus de recuperação seja suficientemente grande e do domínio adequado. Os autores enfatizam que:

A Recuperação é Dependente da Língua: Janelas de recuperação grandes beneficiam línguas com grandes corpora alinhados (como Guaraní), mas podem introduzir ruído para línguas com dados esparsos (como Maia Iucateco).
Dados Sintéticos são um Motor: Dados paralelos sintéticos aumentam significativamente o desempenho para línguas onde tal aumento está disponível.
Incompatibilidade de Domínio é um Gargalo: Para as línguas de mais baixos recursos (Wixárika e Bribri), a limitação primária é a incompatibilidade entre os domínios dos corpora disponíveis (narrativo/literário) e a tarefa de legendagem visual, e não a capacidade do modelo.
Cuidado na Avaliação: O uso de exemplos do conjunto de desenvolvimento como prompts em contexto é uma faca de dois gumes; embora ajude a corresponder ao registro necessário, corre o risco de inflar as pontuações de desenvolvimento se o mesmo conjunto for usado tanto para seleção quanto para avaliação.

Os autores concluem que, embora seu sistema seja em cascata (onde erros na legenda em espanhol se propaguem), a capacidade da etapa de tradução de se adaptar ao estilo e vocabulário via recuperação é a principal fonte de melhoria sobre as bases existentes. Eles sugerem que trabalhos futuros devem focar na melhoria da etapa inicial de legendagem visual e na aquisição de dados paralelos específicos de domínio para as línguas de mais baixos recursos.