Resumo Técnico: FineVision: Dados Abertos São Tudo o Que Você Precisa

Declaração do Problema

O avanço dos Modelos Visão-Linguagem (VLMs) é atualmente impedido por um cenário fragmentado de conjuntos de dados públicos. Enquanto modelos proprietários aproveitam corpora massivos e curados, alternativas de código aberto são forçadas a costurar inúmeros conjuntos de dados menores e especializados. Essa abordagem leva a inconsistências em esquemas de anotação, formatação e qualidade dos dados. Além disso, conjuntos de dados abertos existentes frequentemente sofrem de contaminação, onde dados de treinamento se sobrepõem a benchmarks de avaliação, inflando artificialmente as métricas de desempenho e impedindo pesquisas robustas e centradas em dados. O campo migrou da simples agregação para a necessidade de uma curadoria principista e escalável que aborde diversidade, higiene e tarefas emergentes, como interação agêntica com GUI.

Metodologia

Os autores apresentam o FineVision, um corpus meticulosamente curado de 24 milhões de amostras derivadas de mais de 200 fontes públicas. O processo de curadoria emprega um pipeline semi-automatizado com supervisão humana, projetado para unificar dados heterogêneos em um esquema conversacional padronizado.

1. Pipeline de Curadoria de Dados

• Agregação de Fontes: Os dados foram coletados do Hugging Face, armazenamento em nuvem institucional, repositórios do GitHub e downloads diretos da web.
• Conversão Semi-Automatizada: Uma abordagem híbrida combina agentes de Modelos de Linguagem de Grande Escala (LLMs) (especificamente o Claude) para ingestão em massa e design de estratégia com revisores humanos. O pipeline divide a conversão em análise de anotação, design de estratégia, implementação de script e verificação de qualidade.
• Supervisão com Intervenção Humana: Revisores auditam mapeamentos, verificam amostras de saída para consumo fiel de anotação e validam formatação e diversidade. Para dados agênticos/GUI, revisores validam esquemas de ação unificados e inspecionam trajetórias quanto à fidelidade executável.
• Esquema Unificado: Todos os conjuntos de dados são convertidos em um formato de chat padronizado (amostra = {imagens, textos, fonte, metadados}). Dados não conversacionais (por exemplo, classificação) são transformados em pares de perguntas e respostas naturais. Conjuntos de dados de QA de turno único são frequentemente agrupados em conversas de múltiplos turnos para criar sinais de treinamento mais ricos.

2. Estratégias Específicas por Tarefa

O pipeline aplica seis estratégias centrais de conversão para preservar a riqueza semântica:

• Visual QA: Agrupamento de perguntas por imagem em conversas de múltiplos turnos com formulações variadas.
• Legendagem e Descrição: Envolvimento de legendas de verdade fundamental com prompts instrucionais aleatorizados.
• Ancoragem e Relações Espaciais: Conversão de anotações espaciais em perguntas de sim/não com respostas explicativas; coordenadas são normalizadas para metadados.
• Compreensão de Documentos: Processamento de documentos de múltiplas páginas como listas de imagens com respostas enriquecidas (etapas de derivação, fatos).
• OCR e Transcrição: Geração de turnos de transcrição exata junto com turnos de compreensão opcionais.
• Classificação e Detecção: Conversão de rótulos em perguntas de decisão com respostas explicativas.
• Unificação GUI/Agêntica: Um pipeline específico normaliza assinaturas de função heterogêneas e taxonomias de ação de conjuntos de dados GUI em um espaço de ação unificado e tipado com coordenadas agnósticas à resolução.

3. Higiene de Dados e Descontaminação

• Limpeza: Validação automatizada remove imagens corrompidas, arquivos não decodificáveis e texto malformado. O texto é normalizado para UTF-8, caracteres de controle são removidos e os turnos são limitados a 8192 tokens.
• Deduplicação: Embeddings de Detecção de Cópia Auto-supervisionada (SSCD) e similaridade de cosseno são usados para identificar e mesclar imagens quase duplicadas dentro e entre fontes.
• Descontaminação do Conjunto de Teste: O pipeline identifica imagens de treinamento semelhantes às presentes em 66 benchmarks públicos de VLM. Um limiar conservador ($\tau = 0,95$) é aplicado para sinalizar contaminação potencial, embora o conjunto de dados seja lançado em sua forma original com estatísticas de contaminação fornecidas.

Contribuições Principais

1. Corpus FineVision: O lançamento do maior recurso aberto de seu tipo, contendo 17 milhões de imagens, 89 milhões de turnos e 9,5 bilhões de tokens de resposta em 185 subconjuntos.
2. Fluxo de Trabalho de Curadoria: Um pipeline reproduzível, semi-automatizado e com supervisão humana que unifica mais de 200 fontes, mantendo a estrutura da tarefa e a diversidade conversacional.
3. Espaço de Ação Unificado: Uma contribuição inovadora para tarefas agênticas, fornecendo um esquema padronizado para interações com GUI em ambientes de desktop, móvel e navegador.
4. Higiene Rigorosa: Protocolos abrangentes de deduplicação e descontaminação usando embeddings SSCD, com lançamento público das ferramentas e embeddings pré-calculados.
5. Análise de Qualidade: Uma caracterização detalhada do conjunto de dados ao longo de quatro eixos (Formatação, Relevância, Dependência Visual, Correspondência Imagem-Pergunta) usando pontuação de LLM como juiz.

Resultados Experimentais

Os autores treinaram um SmolVLM de 460M parâmetros no FineVision e o compararam com modelos treinados em The Cauldron, LLaVA-OneVision e Cambrian-7M.

• Ganhos de Desempenho: Modelos treinados no FineVision alcançaram resultados state-of-the-art entre VLMs de dados abertos, mostrando melhorias relativas significativas:
  • +27,7% sobre The Cauldron
  • +11,4% sobre Cambrian-7M
  • +38,4% sobre LLaVA-OneVision
  • (Melhoria média de 10,8 pontos percentuais sobre as linhas de base em 11 benchmarks).
• Dinâmicas de Treinamento: Embora o desempenho inicial tenha ficado ligeiramente para trás devido à inclusão de tarefas novas, os modelos treinados no FineVision superaram todas as linhas de base após aproximadamente uma época, demonstrando generalização superior.
• Robustez à Contaminação: Ao serem retreinados em versões descontaminadas dos conjuntos de dados, os modelos de linha de base sofreram quedas de desempenho de 2,7 a 3,7 pontos percentuais, enquanto o modelo FineVision caiu apenas 1,6 ponto, confirmando que seus ganhos não são impulsionados por vazamento de dados.
• Capacidades GUI: Em benchmarks GUI desafiadores (ScreenSpot-V2 e ScreenSpot-Pro), o modelo FineVision treinado de 0,5B alcançou desempenho comparável a um modelo de 2B arquiteturalmente equivalente, superando modelos base pequenos que falharam em resolver tarefas sem ajuste fino.
• Métricas de Diversidade: O FineVision exibe ampla amplitude conceitual (Rank Efetivo) e, crucialmente, uma Razão de Participação superior em comparação com outros grandes conjuntos de dados, indicando uma distribuição mais uniforme de conceitos visuais.

Significado e Alegações

O artigo afirma que higiene de dados e integração criteriosa são tão críticas quanto a escala. O FineVision demonstra que uma abordagem principista à curadoria — combinando escala massiva com limpeza rigorosa, deduplicação e supervisão humana — pode fechar a lacuna de desempenho entre VLMs de código aberto e proprietários.

Os autores enfatizam que o conjunto de dados não é meramente uma agregação maior, mas uma "fundação" projetada para tarefas emergentes, particularmente em configurações agênticas/GUI por meio de um espaço de ação unificado. Ao lançar o corpus, receitas de conversão e ferramentas de deduplicação, o trabalho visa democratizar o acesso a dados de treinamento de alta qualidade e catalisar a próxima onda de inovação no desenvolvimento de VLMs abertos. Os autores reconhecem modestamente limitações, como sobreposições residuais e a falta de benchmarks comunitários integrados para controle de GUI, posicionando o FineVision como um ponto de partida para futuras extensões em vídeo, cobertura multilíngue e raciocínio de contexto mais longo.