Xuanwu: Evolving General Multimodal Models into an Industrial-Grade Foundation for Content Ecosystems

Resumo Técnico: Xuanwu VL-2B

1. O Problema

Embora os Grandes Modelos de Linguagem Multimodal (MLLMs) gerais (como LLaVA, Qwen-VL, InternVL) tenham alcançado desempenho superior em benchmarks públicos, eles enfrentam desafios críticos quando aplicados a cenários reais de moderação de conteúdo e defesa adversária:

• Custo de Inferência e Esquecimento Catastrófico: Modelos muito grandes têm latência alta e custo computacional proibitivo para plataformas sociais em escala. A adaptação direta a domínios específicos frequentemente causa esquecimento catastrófico de conhecimento de cauda longa e degrada a representação geral visão-linguagem.
• Granularidade Insuficiente: Modelos gerais carecem de conhecimento específico de negócios, como regulamentações regionais, gírias de comunidades e limites éticos/legais finos, essenciais para moderação de alta precisão.
• Fragilidade Adversária: Eles falham em recuperar características locais críticas diante de conteúdo adversário complexo, como texto de baixa resolução, marcas d'água distorcidas, forjagens geradas por IA (AIGC) e ataques de OCR ofuscados.

2. Metodologia

O artigo apresenta o Xuanwu VL-2B, um modelo fundacional multimodal industrial de aproximadamente 2 bilhões de parâmetros, projetado para equilibrar desempenho de negócios, percepção visual e custo de implantação.

A. Arquitetura Compacta

• Backbone Visual: InternViT-300M (selecionado após comparação com modelos maiores como AIMv2-Huge e SAIL-ViT-Huge, oferecendo o melhor equilíbrio entre desempenho e custo).
• Backbone de Linguagem: Qwen3 1.7B.
• Conector: Um projetor MLP leve de duas camadas (em vez de estruturas complexas como Q-Former) para manter a simplicidade e preservar características visuais.
• Mecanismo de Percepção Dinâmica: Utiliza um sistema de "Dynamic Tiling & Resizing" (Ladrilhamento e Redimensionamento Dinâmico). Em vez de redimensionar a imagem inteira para uma resolução fixa, o sistema divide a imagem em até 12 ladrilhos locais de alta resolução (448x448) e mantém uma miniatura global. Isso permite a detecção de detalhes finos (como texto minúsculo) sem explodir o número de tokens visuais, graças ao uso de Pixel Unshuffle.

B. Pipeline de Treinamento de Três Estágios
O modelo é treinado através de um pipeline iterativo de dados e três estágios contínuos:

1. Pré-treinamento (Pre-Training):
   • Alinhamento do projetor MLP com dados de legendas de alta qualidade (1.3M amostras).
   • Treinamento conjunto de parâmetros completos com dados gerais imagem-texto (17.33M amostras) para estabelecer fundamentos de diálogo visual e VQA.
2. Mid-Training (Treinamento Intermediário):
   • Injeção de conhecimento de negócios com 2.8M amostras.
   • Mistura de dados: retenção de base (10% do pré-treinamento), aprimoramento de seguimento de instruções, dados de moderação de conteúdo e dados adversários de SPAM.
   • Uso de K-Means para garantir equilíbrio distribucional e mitigar o esquecimento catastrófico.
3. Pós-treinamento (Post-Training):
   • SFT (Fine-Tuning Supervisionado): Uso de dados de alta fidelidade com verificação cruzada por modelos "professores" (Qwen2.5-VL-7B, InternVL3-14B) e limpeza automatizada. Foco em padrões de raciocínio "Observar -> Raciocinar -> Concluir" (Chain-of-Thought).
   • RL (Aprendizado por Reforço): Uso de GRPO (Group Relative Policy Optimization) com uma recompensa composta que inclui precisão de classificação, conformidade de formato e alinhamento de OCR (medido por similaridade de conjunto de caracteres).

3. Principais Contribuições

1. Sistema de Avaliação Industrial: Criação de um framework de avaliação abrangente cobrindo compreensão de conteúdo, moderação e defesa adversária (incluindo OCR ofuscado), permitindo a avaliação estruturada de modelos de escala 2B em cenários reais.
2. Pipeline de Treinamento de Três Estágios: Uma metodologia que combina refinamento de dados, injeção de conhecimento de negócios e alinhamento pós-treinamento para equilibrar ganhos de desempenho específico com a retenção de capacidades gerais.
3. Arquitetura Multimodal Compacta (2B): Demonstra que uma arquitetura InternViT-300M + Qwen3 1.7B pode equilibrar moderação de negócios, OCR adversário e capacidade geral dentro de um orçamento de parâmetros limitado.
4. Curadoria de Dados Orientada a Negócios: Construção de dados SFT de alta fidelidade, supervisão estruturada de CoT e alinhamento GRPO focado em OCR adversário, melhorando significativamente a detecção e a atribuição de violações.

4. Resultados

O Xuanwu VL-2B foi comparado com modelos de código aberto (InternVL 3.0/3.5 2B) e um modelo comercial de ponta (Gemini-2.5-Pro) em zero-shot.

• Benchmarks Gerais:
  • Alcançou uma pontuação média de 67.90 em 7 métricas multimodais (OpenCompass), superando o InternVL 3.5 2B (64.27).
  • Mantém desempenho competitivo em tarefas de texto (média-9 de 58.38), embora com leve queda em tarefas acadêmicas puras devido à especialização.
• Moderação de Conteúdo:
  • Alcançou uma recall média de 94.38% em sete tarefas independentes de moderação (vs. 47.98% do InternVL 3.5 2B).
  • Destaque em categorias de cauda longa e de alto risco (ex: "high-risk" e "illegal" com recalls acima de 90%).
• Defesa Adversária (OCR):
  • Em cenários desafiadores de OCR adversário (8 subconjuntos: AIGC, ruído, distorção, marcas d'água, etc.), alcançou uma recall ponderada global de 82.82%.
  • Superou o Gemini-2.5-Pro (76.72%) e os modelos InternVL (64.79%), demonstrando superioridade na recuperação de texto violador ofuscado.
• Eficiência: O modelo opera com um custo de inferência viável para plataformas de grande escala, mantendo estabilidade de treinamento e implantação.

5. Significado e Impacto

O trabalho demonstra que é possível evoluir modelos multimodais gerais em fundações industriais robustas sem depender de modelos massivos (centenas de bilhões de parâmetros).

• Viabilidade Econômica: Otimiza o trade-off entre custo computacional e desempenho, tornando a moderação de alta precisão acessível para plataformas de mídia social.
• Robustez Real: Resolve o problema da fragilidade de modelos gerais contra ataques adversários sofisticados (como texto distorcido e forjagens AIGC), que são comuns em ambientes de produção.
• Explicabilidade: A introdução de raciocínio Chain-of-Thought (CoT) estruturado ("Observar, Raciocinar, Concluir") aumenta a confiança dos stakeholders e facilita a auditoria de decisões de moderação.

O Xuanwu VL-2B serve como um caso de estudo para a construção de sistemas de IA que não apenas entendem o mundo geral, mas são especificamente adaptados para defender ecossistemas de conteúdo contra ameaças complexas e em constante evolução.