Vectra: A New Metric, Dataset, and Model for Visual Quality Assessment in E-Commerce In-Image Machine Translation

Resumo Técnico: Vectra

1. O Problema (Contexto e Motivação)

A Tradução Automática em Imagens (IIMT - In-Image Machine Translation) é fundamental para o e-commerce transfronteiriço, pois permite traduzir textos dentro de fotos de produtos mantendo a consistência visual do cenário. No entanto, a avaliação atual enfrenta dois grandes gargalos:

• Limitações de Métricas Tradicionais: Métricas baseadas em referência (como SSIM ou FID) são semânticas e globais, falhando em identificar defeitos visuais específicos e granulares (como estilo de fonte ou distorção de layout).
• Limitações de Modelos de Linguagem (MLLMs): Embora modelos como GPT-4o possam atuar como "juízes", eles carecem de calibração para o domínio de e-commerce e não fornecem sinais de recompensa detalhados ou explicáveis para o treinamento de modelos de tradução.

O desafio central é criar um sistema de avaliação sem referência (reference-free) que seja interpretável, detalhado e alinhado com os padrões comerciais de qualidade visual.

2. Metodologia (O Framework Vectra)

Os autores propõem o Vectra, um framework composto por três pilares principais:

A. Vectra Score (Métrica Multidimensional):
Em vez de uma nota única e vaga, o Vectra decompõe a qualidade visual em 14 dimensões interpretáveis, divididas em:

• Qualidade Textual (8 dimensões): Tamanho, cor, posição, estilo da fonte, layout, clareza de pixels, alucinação e omissão de texto.
• Qualidade da Cena (6 dimensões): Tamanho, cor, posição de elementos, clareza de pixels, alucinação e omissão de elementos da cena (não textuais).
• Quantificação por DAR (Defect Area Ratio): Introduz uma métrica espacial que calcula a proporção da área defeituosa em relação à área total do conteúdo. Isso reduz a ambiguidade na anotação humana.
• Cálculo do Score Final: Utiliza uma formulação multiplicativa (em vez de média aritmética). Isso garante que erros de precisão (como alucinações) penalizem severamente a nota final, independentemente de quão boa seja a estética (estilo).

B. Vectra Dataset (Ecossistema de Dados):
Construído a partir de 1,1 milhão de imagens reais de e-commerce:

• Vectra-Bench: 2.000 imagens para avaliação de benchmark.
• Vectra-SFT/RL: 33,5 mil amostras para ajuste fino supervisionado (SFT) e alinhamento por preferência (RL), utilizando técnicas de amostragem de diversidade e balanceamento de distribuição para evitar o viés de classes majoritárias (como imagens perfeitas).

C. Vectra Model (O Modelo de Avaliação):
Um MLLM de 4 bilhões de parâmetros (baseado no Qwen3-VL) treinado em duas etapas:

1. SFT (Supervised Fine-Tuning): Treinado para gerar diagnósticos baseados em raciocínio (identificar conteúdo $\rightarrow$ descrever problema $\rightarrow$ localizar posição $\rightarrow$ quantificar efeito).
2. GSPO (Group Sequence Policy Optimization): Um método de aprendizado por reforço para alinhar as previsões do modelo com as preferências de especialistas humanos.

3. Principais Contribuições

• Primeiro framework sistemático de avaliação de qualidade visual para IIMT em e-commerce.
• Métrica interpretável que utiliza a decomposição em 14 dimensões e a métrica espacial DAR.
• Dataset robusto e diversificado que cobre múltiplos pares de idiomas e padrões de defeitos.
• Modelo especializado (4B) que supera modelos proprietários massivos (como GPT-5 e Gemini-3) em tarefas de pontuação de qualidade visual de domínio específico.

4. Resultados

• Correlação Humana: O Vectra alcançou correlações de Pearson ($r = 0,895$) e Kendall ($\tau = 0,724$) com o ranking humano, superando modelos como GPT-5 e Gemini-3-Pro.
• Superioridade sobre Baselines: Superou métricas tradicionais (SSIM, FID) e outros modelos de julgamento (HCIIT-Judge) em cenários de e-commerce e em testes fora de domínio (documentos e pôsteres).
• Redução de Ruído: A introdução do DAR reduziu o Coeficiente de Variação (CV) nas anotações em 46%, indicando maior consistência entre avaliadores.
• Capacidade de Diagnóstico: O modelo não apenas dá uma nota, mas fornece um relatório de diagnóstico detalhado (ex: "A fonte foi alterada de serifada para sans-serif, afetando 5% da área").

5. Significância

O trabalho é altamente significativo para a indústria de e-commerce global. Ele fornece uma ferramenta de automação de controle de qualidade que pode ser usada para:

1. Benchmarking: Avaliar sistemas de tradução de imagens de forma padronizada.
2. Otimização de Modelos: Servir como uma função de recompensa (reward signal) precisa para treinar novos modelos de IIMT via aprendizado por reforço.
3. Escalabilidade: Permitir que empresas gerenciem milhões de listagens de produtos traduzidos sem a necessidade de revisão humana constante para cada detalhe visual.