AutoViVQA: A Large-Scale Automatically Constructed Dataset for Vietnamese Visual Question Answering

Este trabalho explora a Resposta Visual a Perguntas (VQA) em vietnamita utilizando arquiteturas baseadas em transformers, comparando sistematicamente métricas de avaliação automática em cenários multilíngues para aprimorar o alinhamento com o julgamento humano.

O essencial

Imagine que você quer ensinar um robô a "ver" e a "entender" o mundo, mas não em inglês ou chinês, e sim em vietnamita. O problema é que, para ensinar um robô, você precisa de milhões de exemplos: uma foto, uma pergunta sobre ela e a resposta correta. Fazer isso manualmente é como tentar encher um oceano com uma colher de chá: demorado, caro e difícil de escalar.

É aqui que entra o AutoViVQA, o protagonista deste trabalho. Vamos explicar como eles fizeram isso usando algumas analogias do dia a dia.

1. O Problema: A "Fome" de Dados

Antes, os robôs que entendiam imagens em vietnamita eram como crianças que só tinham um livro de histórias para ler. Eles conheciam algumas palavras, mas não conseguiam entender nuances, como "por que" alguém está fazendo algo ou qual a relação entre dois objetos. Os dados existentes eram poucos, desorganizados ou traduzidos de forma ruim (como tentar ler um livro traduzido por um robô que não entende a cultura).

2. A Solução: A "Fábrica Inteligente" (AutoViVQA)

Os autores criaram um sistema chamado AutoViVQA. Pense nele não como um colecionador de dados, mas como uma fábrica de perguntas e respostas automatizada, dirigida por uma Inteligência Artificial (IA) superinteligente.

Em vez de pedir para 1.000 pessoas escreverem perguntas manualmente, eles criaram um processo de 3 etapas:

• A Matéria-Prima: Eles pegaram fotos reais do mundo (do banco de imagens MS COCO) e as misturaram com descrições em vietnamita de alta qualidade. É como pegar ingredientes frescos de um mercado local.

• O Chef de Cozinha (A IA): Eles usaram um "chef" (um modelo de linguagem grande, como o Gemini) para cozinhar. Mas não deixaram o chef fazer o que quisesse. Eles deram a ele um menu rigoroso.

  • A Analogia do Menu: Imagine que você pede ao chef para criar pratos de 5 níveis de dificuldade.
    1. Nível 1 (Reconhecimento): "O que é isso?" (Uma cadeira).
    2. Nível 2 (Espaço): "Onde está a cadeira?" (Ao lado da mesa).
    3. Nível 3 (Composição): "Quantas pessoas estão sentadas na cadeira?"
    4. Nível 4 (Causa/Efeito): "Por que a pessoa está sentada na cadeira?" (Está cansada).
    5. Nível 5 (Texto na Imagem): "O que está escrito no cartaz atrás da cadeira?"
  • O sistema garante que o chef não faça apenas pratos fáceis (Nível 1), mas crie uma dieta balanceada com todos os níveis.

• O Inspector de Qualidade (O Filtro): Aqui está a mágica. Como confiar em uma IA para criar dados? Eles não confiaram em apenas uma. Eles criaram um comitê de juízes.

  • Imagine que cada pergunta gerada é submetida a uma votação de 10 juízes diferentes (várias IAs).
  • Se a pergunta for confusa, se a resposta não fizer sentido com a foto, ou se a IA "alucinar" (inventar coisas que não estão na foto), o comitê rejeita o prato.
  • Só passa para o prato final (o conjunto de dados) o que tiver a aprovação da maioria. Isso remove o "lixo" e deixa apenas o "ouro".

3. O Resultado: Um Novo Padrão

O resultado foi um banco de dados gigante com quase 20.000 imagens e mais de 37.000 perguntas, cada uma com 5 respostas possíveis (para garantir que a resposta seja a mais lógica, não apenas uma).

Por que isso é importante?
Os autores testaram vários robôs (modelos de IA) usando esses novos dados. Foi como dar um novo manual de instruções muito melhor para os robôs.

• Antes: Os robôs erravam muito ou davam respostas genéricas.
• Depois: Com o AutoViVQA, os robôs entenderam melhor o contexto, responderam com mais precisão e cometeram menos erros de "alucinação" (inventar fatos).

Resumo em uma Frase

O AutoViVQA é como ter uma fábrica automatizada que produz milhões de exercícios de "ver e responder" em vietnamita, garantindo que cada exercício seja difícil o suficiente para treinar o cérebro do robô, mas sem erros, usando um sistema de "chefes" e "juízes" de IA para controlar a qualidade.

Isso abre as portas para que a Inteligência Artificial entenda e respeite a cultura e a língua vietnamita, algo que antes era muito difícil de fazer porque faltavam dados de qualidade.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "AUTOVIVQA: A LARGE-SCALE AUTOMATICALLY CONSTRUCTED DATASET FOR VIETNAMESE VISUAL QUESTION ANSWERING", apresentado em português:

1. O Problema

O Visual Question Answering (VQA) é uma tarefa multimodal fundamental que exige a integração de percepção visual e raciocínio linguístico. Embora existam avanços significativos em inglês (com modelos como BLIP-2, LLaVA), as línguas de recursos limitados, como o vietnamita, carecem de benchmarks de alta qualidade e grande escala.

Os conjuntos de dados existentes em vietnamita (como ViVQA, OpenViVQA e ViTextVQA) apresentam limitações críticas:

• Escala insuficiente: Não suportam o treinamento ou adaptação de modelos multimodais modernos.
• Baixa diversidade de raciocínio: Focam excessivamente em consultas centradas em objetos ou texto, negligenciando raciocínio complexo (inferência causal, relações espaciais, raciocínio composicional).
• Qualidade inconsistente: A anotação manual é cara e difícil de escalar, enquanto a geração assistida por IA ingênua frequentemente introduz alucinações, fraca ancoragem visual e vieses culturais.
• Falta de metodologia escalável: Não há uma abordagem padronizada para criar dados de VQA em vietnamita que sejam controlados, conscientes do raciocínio e de alta qualidade sem depender pesadamente de anotação humana.

2. Metodologia

O artigo propõe o AutoViVQA, um conjunto de dados construído inteiramente através de um pipeline automatizado orientado por Grandes Modelos de Linguagem (LLMs). A metodologia baseia-se em três pilares principais:

A. Pipeline de Geração Controlada

• Fontes de Dados: Integra imagens reais do MS COCO com legendas e diálogos em vietnamita de alta qualidade do corpus VISTA.
• Geração Orientada por Restrições: Em vez de usar LLMs como geradores autônomos, o sistema utiliza prompts controlados que impõem restrições semânticas e de nível de raciocínio.
• Esquema de Raciocínio de 5 Níveis: As perguntas são geradas seguindo uma taxonomia explícita para garantir diversidade cognitiva:
  1. Reconhecimento: Identificação de objetos/atributos.
  2. Espacial e Relacional: Relações espaciais e comparações simples.
  3. Composicional: Raciocínio multi-etapa envolvendo múltiplos objetos/ações.
  4. Senso Comum e Causal: Inferência de intenções, estados mentais e relações de causa-efeito.
  5. Texto na Imagem: Leitura e interpretação de texto dentro da imagem (OCR).
• Distribuição Balanceada: O pipeline monitora e ajusta a distribuição das perguntas para seguir uma curva normal aproximada entre os níveis de raciocínio, evitando o colapso para perguntas triviais.

B. Protocolo de Validação em Ensemble (Sem Anotação Humana)

Para garantir a qualidade sem depender de anotação humana em larga escala, o sistema emprega um protocolo de validação automatizado:

• Avaliação Multi-Modelo: Cada amostra gerada é avaliada por um ensemble de $2n+1$ modelos independentes (visão-linguagem e LLMs).
• Critérios de Qualidade: A avaliação abrange 18 dimensões agrupadas em quatro categorias: qualidade visual, complexidade contextual, validade linguística e ancoragem visual (incluindo um Visual Grounding Score).
• Filtragem por Votação Majoritária: Uma amostra é mantida apenas se satisfizer pelo menos 9 dos 18 critérios, determinados por votação majoritária entre os modelos avaliadores. Isso remove amostras ruidosas, mal ancoradas ou alucinadas.

C. Estrutura do Dataset

• Estatísticas: 19.411 imagens, 37.077 perguntas e 185.385 respostas (5 respostas por pergunta).
• Formato: Respostas curtas (1-10 palavras) para manter a precisão de classificação, cobrindo 9 tipos de perguntas focadas.
• Divisão: 80% para treino, 20% para validação.

3. Contribuições Chave

1. AutoViVQA: O primeiro dataset de VQA em vietnamita de grande escala construído inteiramente via pipeline orientado por LLM, abordando a escassez de benchmarks de alta qualidade.
2. Framework de Garantia de Qualidade: Uma metodologia que regula explicitamente a complexidade cognitiva através de um esquema de raciocínio de cinco níveis, garantindo cobertura balanceada entre reconhecimento, relações, causalidade e texto na imagem.
3. Protocolo de Validação Automatizado: Um método inovador de ensemble que combina avaliação multi-modelo, thresholding por critério e votação majoritária para filtrar dados ruidosos sem anotação humana, permitindo a criação escalável de benchmarks.
4. Metodologia Reprodutível: O framework não é apenas um dataset, mas uma metodologia que pode ser adaptada para outros domínios ou línguas de recursos limitados.

4. Resultados

Os experimentos avaliaram a eficácia do pipeline de refinamento de dados em diversos modelos (Vintern, ViT5_ViT, BARTPhoBEiT, GPT-5, LLaMA 3.2, Gemini).

• Melhoria Significativa: Modelos treinados no dataset refinado do AutoViVQA apresentaram melhorias consistentes em métricas de fidelidade semântica (Precisão, Recall, F1, ROUGE-L, METEOR, CIDEr).
• Impacto do Refinamento de Dados: Ao comparar o modelo Vintern (base) com sua versão finetuned no dataset filtrado, observou-se um aumento de três vezes no F1 e oito vezes no CIDEr, provando que a melhoria veio da qualidade dos dados e não de mudanças na arquitetura do modelo.
• Validação Humana: Um estudo com 1.000 amostras e três anotadores humanos resultou em um acordo substancial ($\alpha = 0.72$), confirmando que a maioria das amostras é fluente, visualmente ancorada e alinhada com os níveis de raciocínio pretendidos.
• Análise de Erros: Apenas <6% das amostras inspecionadas apresentaram erros residuais (como perguntas visualmente ambíguas ou respostas genéricas), a maioria filtrada pelo protocolo de ensemble.

5. Significado e Conclusão

O AutoViVQA representa um avanço crucial para a IA multimodal em línguas de recursos limitados.

• Para a Pesquisa: Demonstra que é possível construir benchmarks de alta qualidade e complexidade cognitiva para línguas não-inglesas sem depender massivamente de anotação humana cara, utilizando LLMs de forma controlada e verificável.
• Para a Comunidade: Fornece um recurso robusto para treinar e avaliar modelos que precisam de raciocínio profundo e ancoragem cultural, indo além da simples classificação de objetos.
• Limitações e Futuro: O dataset ainda depende das imagens do MS COCO (limitando a diversidade cultural vietnamita específica) e reflete o vietnamita padrão. Trabalhos futuros visam incorporar fontes visuais culturalmente diversas e mecanismos de filtragem mais sensíveis a dialetos e vieses.

Em suma, o trabalho estabelece um novo padrão para a construção de dados multimodais em línguas de recursos limitados, provando que a qualidade do dado é um fator determinante para o desempenho de modelos de IA, independentemente da arquitetura utilizada.