ZAYA1-VL-8B Technical Report

Com base no relatório técnico fornecido, segue um resumo detalhado do artigo ZAYA1-VL-8B.

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) evoluíram rapidamente, mas vários desafios persistem antes que possam ser considerados totalmente maduros. Estes incluem alucinações do modelo, altos custos computacionais para entradas de alta resolução e dificuldades na implantação eficiente. Uma limitação arquitetônica específica identificada no artigo é que os VLMs padrão frequentemente roteiam tokens de visão e linguagem através dos mesmos parâmetros do modelo, forçando representações compartilhadas a servirem duas modalidades com propriedades estatísticas fundamentalmente diferentes. Isso pode criar interferência, particularmente em arquiteturas de Mistura de Especialistas (MoE), onde o roteamento de especialistas é aprendido principalmente a partir de dados de linguagem. Além disso, o uso padrão de máscaras de atenção causal para tokens de imagem é subótimo, porque os patches de imagem carecem de ordenação inerente da esquerda para a direita, impedindo arbitrariamente que patches anteriores atendam a posteriores e limitando a captura da estrutura visual global. Além disso, o ecossistema depende fortemente de modelos proprietários ou de dados sintéticos destilados deles, limitando a reprodutibilidade e a visibilidade dos ingredientes que impulsionam o desempenho.

Metodologia

Os autores apresentam ZAYA1-VL-8B, um VLM compacto construído sobre seu modelo de linguagem MoE interno, ZAYA1-8B-A1B. O modelo compreende 9,2 bilhões de parâmetros no total, com 1,4 bilhão de parâmetros ativos (incluindo o codificador de visão). A arquitetura integra quatro componentes principais: um LLM apenas decodificador, um codificador de visão (baseado no Qwen2.5-VL), um pré-processador de imagem e um adaptador de visão.

O artigo detalha duas inovações arquitetônicas chave projetadas para abordar as limitações do compartilhamento de parâmetros e da mascaramento causal:

1. Adaptadores LoRA Específicos de Visão: Em vez de adicionar novos especialistas ao backbone MoE (o que aumentaria o tamanho do modelo e os requisitos de dados), os autores integram adaptadores de Adaptação de Baixo Rango (LoRA) nos pesos lineares dos módulos de atenção e MLP dentro do LLM. Esses adaptadores são ativados apenas quando tokens de visão são passados para o LLM. Eles são treinados juntamente com os pesos padrão durante a fase principal de treinamento, começando de zero com um termo de decaimento de peso para evitar divergência das trajetórias de texto. Isso aumenta a capacidade específica da modalidade sem crescer substancialmente o tamanho do modelo.
2. Atenção Bidirecional sobre Tokens de Imagem: Os autores removem a máscara causal para tokens de visão dentro das camadas de atenção do LLM. Isso permite atenção bidirecional completa entre todos os tokens visuais, restaurando a simetria espacial e alinhando o padrão de atenção dos tokens visuais dentro do LLM com o do codificador de visão. Os tokens de texto mantêm o mascaramento causal padrão.

Pipeline de Treinamento:
O treinamento segue um currículo de múltiplos estágios:

• Alinhamento: Treinamento apenas do adaptador de visão em dados de legendagem de imagem de baixa resolução (LLaVA-ReCap-558K) com o LLM congelado.
• Pré-treinamento: Treinamento conjunto de todos os parâmetros em 30 milhões de amostras multimodais. Este estágio introduz um novo modelo de chat e aumenta progressivamente o limite de resolução de imagem de 0,8 MP para 6,3 MP.
• Expansão de Embedding: Expansão da camada de embedding do LLM para acomodar tokens especiais para tarefas de fundamentação (caixas delimitadoras e pontos), mantendo o restante do modelo fixo.
• Ajuste de Instrução: Treinamento ponta a ponta em 20 milhões de amostras curadas de texto e multimodais, introduzindo dados de fundamentação na forma de caixas delimitadoras e apontamento.

O pipeline de treinamento utiliza um pipeline de dados totalmente em streaming com empacotamento de sequência eficiente e mascaramento de atenção cuidadosamente projetado (incluindo mascaramento de conversa) para lidar com comprimentos de sequência heterogêneos e maximizar a utilização da GPU.

Principais Contribuições

1. Demonstração da Viabilidade do MoE: O artigo demonstra que seu LLM MoE personalizado (ZAYA1-8B-A1B) é capaz de impulsionar um VLM forte, mostrando que os benefícios dos MoEs em linguagem transferem-se perfeitamente para tarefas de VLM.
2. Mecanismos Arquitetônicos Novos: A introdução de adaptadores LoRA específicos de visão e atenção bidirecional sobre tokens de imagem como mecanismos leves para abordar a interferência de modalidade e as limitações do mascaramento causal, oferecendo uma nova abordagem para estender LLMs MoE a VLMs.
3. Eficiência e Desempenho: O ZAYA1-VL-8B demonstra forte desempenho por FLOP de inferência e eficiência de amostra em termos de tokens de treinamento.
4. Lançamento de Código Aberto: O modelo, checkpoints de treinamento e código de inferência são disponibilizados publicamente à comunidade de pesquisa.

Resultados

O ZAYA1-VL-8B foi avaliado em uma suíte diversificada de benchmarks cobrindo compreensão de documentos, percepção, raciocínio, contagem e fundamentação.

• Benchmarks Gerais: O modelo alcança desempenho competitivo com modelos base líderes como Molmo2-4B e InternVL3.5-4B. Ele supera modelos incluindo Qwen2.5-VL-3B, PLM-3B e MolmoE-8B em benchmarks de compreensão de imagem, raciocínio e contagem (por exemplo, AI2D, ChartQA, DocVQA, CountBenchQA).
• Benchmarks de Fundamentação: No Point-Bench, o ZAYA1-VL-8B alcança uma pontuação média de 58,0, igualando o MolmoE-8B-A1B e superando modelos densos menores como Qwen3-VL-2B. No RefCOCO, alcança uma média geral de 84,3, posicionando-se competitivamente entre modelos com significativamente mais parâmetros ativos.
• Estudos de Ablação: Experimentos confirmaram que a atenção bidirecional para tokens de imagem melhora tarefas de compreensão de documentos e imagens, enquanto adaptadores LoRA específicos de visão produzem melhorias claras de desempenho sobre baselines sem adaptadores.

Significado

O artigo afirma que o ZAYA1-VL-8B demonstra que um backbone MoE bem projetado, acoplado a um pipeline eficiente em dados, pode impulsionar um VLM altamente capaz a uma fração tanto do computo ativo quanto do orçamento de dados de modelos comparáveis. Ao tornar o modelo de código aberto, os autores visam fornecer uma base prática para a comunidade de pesquisa, oferecendo visibilidade total sobre os ingredientes que impulsionam o forte desempenho. O trabalho destaca que a curadoria cuidadosa de dados e inovações arquitetônicas direcionadas podem produzir compreensão visual robusta de propósito geral sem a necessidade de contagens massivas de parâmetros ou destilação de dados proprietários. Direções futuras mencionadas incluem incorporar RoPE multimodal diretamente no backbone do LLM e escalar o corpus de treinamento para compreensão de vídeo.