Resumo Técnico: Ryze – Síntese de Dados Enriquecidos com Evidências a partir de Artigos Biomédicos

Definição do Problema

Os Modelos de Linguagem-Visão (VLMs) de propósito geral atualmente carecem da confiabilidade necessária para fluxos de trabalho de pesquisa biomédica. O raciocínio científico neste domínio depende fortemente da interpretação de evidências distribuídas em múltiplas modalidades dentro de um artigo: figuras, gráficos, tabelas, legendas e o texto explicativo circundante. As pipelines de pós-treinamento existentes enfrentam dois gargalos primários:

1. Escassez e Custo de Dados: Adquirir pares de QA (pergunta-resposta) de alta qualidade e específicos do domínio normalmente requer anotação especializada cara.
2. Degradação de Evidências: Os métodos de dados sintéticos existentes frequentemente falham em preservar o contexto estrutural (por exemplo, a ligação entre o eixo de um gráfico e sua legenda, ou uma linha de tabela e seu cabeçalho) necessário para respostas científicas válidas. Quando os exemplos de treinamento perdem esses componentes, os modelos tendem a aprender pistas superficiais ou padrões memorizados em vez de raciocínio fundamentado em evidências. Além disso, ferramentas de OCR e conversão de documentos de propósito geral costumam introduzir alucinações ou erros de layout ao processar PDFs científicos complexos, o que se propaga para os dados de treinamento e degrada o desempenho do modelo.

Metodologia

O Ryze é um sistema totalmente automatizado projetado para converter artigos biomédicos brutos em um conjunto de treinamento enriquecido com evidências e um VLM especializado (BioVLM-8B) sem anotação humana. O sistema opera através de quatro módulos interconectados em um ciclo fechado:

1. Extração e Limpeza Conscientes de Gráficos

Para mitigar alucinações de OCR e erros de layout, o Ryze emprega uma pipeline de cinco estágios:

• Detecção de Layout: Utiliza o Surya para segmentar páginas em blocos de texto, figuras, tabelas e legendas, preservando as relações espaciais frequentemente perdidas em um OCR de passagem única.
• Conversão Estruturada: Converte regiões de texto para Markdown enquanto mantém a hierarquia das seções.
• Reparo de Referência Cruzada: Recupera referências inline (ex: "Figura 3") e vincula elementos visuais com suas legendas e o texto interpretativo, garantindo que o contexto de evidência completo esteja disponível.
• Extração Especializada: Aplica extração consciente de gráficos/tabelas (usando GLM-OCR) para analisar gráficos em descrições numéricas estruturadas e tabelas em HTML com tratamento correto de células mescladas e cabeçalhos de múltiplas linhas.
• Limpeza Baseada em LLM: Uma passagem final (usando Qwen3) realiza detecção de alucinações, reparo de terminologia de domínio (ex: corrigindo fórmulas químicas) e verificação de consistência entre elementos antes que os dados entrem na pipeline de síntese.

2. Síntese de QA Enriquecida com Evidências

A pipeline de síntese transforma documentos estruturados em pares de QA de alta qualidade:

• Geração de Perguntas Orientada por Tarefas: Em vez de copiar perguntas de benchmarks, o sistema extrai categorias de habilidades de raciocínio de grão grosso (ex: "interpretação de gráfico") de benchmarks de avaliação. Essas categorias são diversificadas por um VLM de grande escala (Qwen3-VL-235B) para gerar novas perguntas. Crucialmente, nenhum benchmark específico de perguntas ou respostas é usado no treinamento; todas as respostas são fundamentadas exclusivamente no corpus de PDF de origem.
• Recuperação de Evidências: Cada pergunta gerada é pareada com um conjunto de evidências abrangente recuperado do repositório de documentos estruturados, incluindo legendas, anotações de OCR e parágrafos relacionados.
• Aumento de Dados Ativo: Um loop de feedback de avaliação identifica categorias de domínio com baixo desempenho, disparando a busca e o processamento automático de novos artigos de acesso aberto para sintetizar pares de QA direcionados.

3. Pós-Treinamento com Portão de Progresso

O Ryze adota uma estratégia de treinamento de duas fases para otimizar a eficiência de dados e as capacidades de raciocínio:

• Fase de Calibração (SFT): O modelo base (Qwen3-VL-8B) passa por Ajuste Fino Supervisionado (SFT) com LoRA. O treinamento alterna entre lotes de QA apenas de texto e de visão para injetar terminologia de domínio e alinhamento visual-textual.
• Portão de Progresso: O sistema monitora o desempenho do benchmark após cada incremento de ~1M de tokens. Quando a melhoria de precisão estagna, o SFT é interrompido.
• Fase de Refinamento (RL): Os dados acumulados são convertidos em um formato de Aprendizado por Reforço (RL) usando Otimização de Política Relativa de Grupo (GRPO). Esta fase fortalece o raciocínio fundamentado em evidências sem exigir um modelo de recompensa separado, focando na geração de cadeias de raciocínio coerentes para perguntas biomédicas complexas.

4. Avaliação e Feedback

O sistema avalia o desempenho através de categorias de benchmark (ex: LitQA2, FigQA, TableQA). As fraquezas detectadas abaixo de um limite configurável atualizam a biblioteca de templates de QA, disparando uma nova rodada de síntese de dados para refinar o modelo iterativamente.

Principais Resultados

Avaliado no LAB-Bench (1.967 amostras em oito categorias de biologia), o modelo resultante BioVLM-8B demonstra melhorias significativas:

• Desempenho: O BioVLM-8B alcança uma acurácia ponderada de 48,0%, superando o Qwen3-VL-8B base em +12,6 pontos percentuais (pp) e ultrapassando o GPT-5.2 comercial em +3,8 pp.
• Eficiência de Treinamento: A versão apenas com SFT (43,7%) já iguala o GPT-5.2 (44,2%). A etapa subsequente de GRPO fornece a margem crítica de +4,3 pp para a superioridade geral.
• Qualidade de Dados: Sob um orçamento de tokens igual, os dados sintetizados pelo Ryze superam os conjuntos de dados curados por humanos PubMedQA (+17,1 pp) e MedQA (+14,7 pp).
• Eficiência de Custo: Toda a pipeline de ponta a ponta (incluindo OCR, síntese e treinamento) custa menos de US$ 200 em GPUs na nuvem, tornando-a acessível para pequenos laboratórios e reproduzível sem anotação especializada.
• Generalização: O conjunto de dados enriquecido com evidências melhora o desempenho em diferentes arquiteturas base (Qwen2.5, LLaMA-3.2, Gemma-2), com os maiores ganhos observados em modelos que possuem componentes de texto e visão.

Significância e Alegações

O artigo afirma que o Ryze aborda um problema sistêmico crítico: como transformar literatura científica bruta em VLMs especializados a baixo custo, preservando a natureza "fundamentada em evidências" do raciocínio científico. A percepção central é que preservar a estrutura contextual completa dos documentos científicos (elementos visuais, legendas e texto de referência) produz dados de treinamento fundamentalmente superiores tanto aos alternativos curados por humanos quanto aos abordagens automatizadas agnósticas ao contexto.

Ao deslocar a adaptação de domínio de um "gargalo de anotação especializada" para uma pipeline automatizada e reproduzível, o Ryze permite que pequenas equipes de pesquisa produzam modelos que superam grandes modelos comerciais caros em benchmarks científicos específicos. Os autores enfatizam que, embora o foco atual seja a biomedicina, o sistema é projetado para se generalizar para outros campos científicos, com experimentos iniciais mostrando promessa em mudanças climáticas, geociências e engenharia civil.

Limitações

Os autores observam que a avaliação é atualmente limitada ao domínio da biologia, e a generalização para outros campos requer validação adicional. Além disso, o GPT-5.2 retém vantagens em categorias que envolvem compreensão visual pesada (FigQA) e análise de sequências (SeqQA, SuppQA), indicando espaço para melhorias no raciocínio multimodal. O comportamento de escala do paradigma de portão de progresso com modelos maiores também requer investigação adicional.