Resumo Técnico: Qwen Goes Brrr – RAG Pronto para Uso para Compreensão de Documentos Multidomínio em Ucraniano

1. Definição do Problema

O artigo aborda a Quinta tarefa compartilhada UNLP, uma competição de código no Kaggle focada na compreensão de documentos multidomínio em ucraniano. O sistema deve processar uma coleção de documentos PDF e responder a perguntas de múltipla escolha com seis opções. A tarefa exige três saídas acopladas:

1. A opção de resposta correta (A–F).
2. O documento-fonte contendo a evidência.
3. A página específica dentro daquele documento que fundamenta a resposta.

Principais Restrições e Desafios:

• Escassez de Dados: Dados de treinamento específicos da tarefa limitados (40 perguntas iniciais, 461 perguntas de desenvolvimento) e um terceiro domínio não visto no conjunto de teste oculto.
• Complexidade do Documento: As entradas são PDFs completos com formatação variada, tabelas e hierarquias de seções, tornando a localização em nível de página não trivial.
• Orçamento de Tempo de Execução: As soluções devem ser executadas dentro de nove horas no hardware do Kaggle (2×GPUs T4) sem acesso à internet, favorecendo pipelines eficientes em vez de loops agênticos complexos e multi-etapa.
• Métrica: A função de pontuação pondera a correção da resposta (50%), a identificação do documento (25%) e a localização da página (25%), sendo que a proximidade da página só conta se o documento estiver correto.

2. Metodologia

Os autores propõem um pipeline de geração aumentada por recuperação (RAG) construído em torno de três componentes principais: fragmentação contextual, recuperação densa consciente da pergunta e reclassificação consciente da resposta.

2.1 Fragmentação Contextual

Em vez de tratar páginas PDF como texto simples, os autores empregam fragmentação consciente da estrutura:

• Processamento: Eles substituíram a biblioteca lenta/instável Docling por um conversor personalizado baseado em pymupdf4llm para renderizar PDFs em Markdown.
• Estrutura: Cada fragmento inclui três níveis de contexto aninhados:
  1. Um prefixo global do documento (primeiros 128 tokens).
  2. O caminho do cabeçalho atual (contexto da seção).
  3. O corpo local do fragmento.
• Configuração: Os fragmentos são limitados a 512 tokens com uma sobreposição de 64 tokens. Estudos de ablação confirmaram que remover esse contexto do documento causou uma queda significativa de desempenho (pontuação pública de 0,945 para 0,861).

2.2 Recuperação Densa (Estágio 1)

• Modelo: O sistema utiliza o Qwen3-Embedding-8B como recuperador principal.
• Construção da Consulta: As consultas são construídas a partir da instância completa de múltipla escolha (pergunta + todas as seis opções de resposta + instrução), em vez da pergunta sozinha.
• Estratégia de Treinamento: O ajuste fino do modelo de 8B nos dados específicos da competição não proporcionou ganhos e arriscava overfitting. O modelo pré-treinado sozinho provou ser robusto. Modelos menores (0,6B) exigiram ajuste fino em dados auxiliares (UA-SQuAD + um novo corpus de 80k) para fechar a lacuna de desempenho.
• Saída: Os 20 fragmentos principais são passados para o reclassificador.

2.3 Reclassificação Consciente da Opção (Estágio 2)

• Modelo: Um Qwen3-Reranker-8B ajustado finamente.
• Entrada: O reclassificador recebe a pergunta concatenada com todas as seis opções de resposta. Isso permite que o modelo distinga passagens com base em quais alternativas específicas elas suportam ou refutam, em vez de apenas similaridade temática.
• Dados de Treinamento: O modelo foi ajustado finamente em uma combinação de:
  • 461 exemplos de desenvolvimento da competição.
  • 16.658 pares do UA-SQuAD (QA extrativa em ucraniano).
  • Negativos difíceis minerados de perguntas impossíveis, erros de recuperação densa e passagens de respostas erradas confusas.
  • Um corpus de pré-treinamento auxiliar de 80.000 exemplos (traduzido de conjuntos de dados em inglês: Natural Questions, HotpotQA, MS MARCO, GooAQ) para melhorar a generalização.
• Seleção: Apenas as 2 principais passagens reclassificadas são passadas para o gerador final.

2.4 Seleção de Resposta (Estágio 3)

• Modelo: Qwen3-32B (quantizado AWQ).
• Entrada: A pergunta, todas as opções e as 2 principais passagens reclassificadas.
• Geração: O modelo é restrito a gerar um único token do alfabeto {A, B, C, D, E, F}.
• Localização: O documento e a página previstos são derivados do fragmento selecionado com maior classificação.

3. Principais Contribuições

1. Pipeline de Estado da Arte: Um pipeline aumentado por recuperação para compreensão de documentos multidomínio em ucraniano que integra fragmentação consciente da estrutura, recuperação consciente da pergunta e reclassificação consciente da resposta dentro de restrições estritas de competição de código.
2. Eficácia Pronto para Uso: Demonstração de que desempenho altamente competitivo pode ser alcançado usando principalmente modelos pré-treinados com design cuidadoso do pipeline (preservando a estrutura do documento e condicionando a relevância na instância completa de múltipla escolha) em vez de heurísticas complexas a jusante.
3. Novos Recursos em Ucraniano: Construção de novos recursos para QA de múltipla escolha baseada em recuperação, incluindo:
   • Um conjunto de treinamento para recuperação densa e reclassificação combinando dados da competição e UA-SQuAD.
   • Um novo corpus de pré-treinamento de 80.000 exemplos para modelos bi-encoder e cross-encoder em ucraniano, derivado de conjuntos de dados em inglês traduzidos.

4. Resultados

• Desempenho no Leaderboard: O sistema final alcançou 0,9452 no leaderboard público e 0,9598 no leaderboard privado.
• Impacto da Reclassificação:
  • A reclassificação melhorou o Recall@1 de 0,6957 para 0,7935.
  • Usar as 2 principais passagens reclassificadas aumentou a precisão da resposta de 0,9348 para 0,9674.
• Insights de Ablação:
  • Contexto do Documento: Remover o prefixo do documento dos fragmentos causou a maior queda única de desempenho.
  • Tamanho do Modelo vs. Ajuste Fino: Embedders pré-treinados maiores (8B) performaram melhor prontamente. O ajuste fino de modelos menores (0,6B) com dados diversos (corpus de 80k + UA-SQuAD) recuperou grande parte da lacuna, mas o ajuste fino apenas em dados específicos da competição degradou o desempenho devido ao overfitting.
  • Roteamento por Domínio: Uma estratégia de roteamento por classificador de domínios funcionou bem no conjunto público (dois domínios visíveis), mas falhou no conjunto privado (terceiro domínio não visto), confirmando que a recuperação agnóstica de domínio é mais robusta para generalização.
  • Injeção de Resumo: Substituir prefixos de documentos brutos por resumos gerados degradou o desempenho, sugerindo que sinais estruturais brutos são superiores a resumos comprimidos para esta tarefa.

5. Significado e Alegações

O artigo afirma que, para a compreensão de documentos multidomínio em ucraniano, preservar a estrutura do documento e tornar a estimativa de relevância consciente do espaço de respostas são mais eficazes do que adicionar heurísticas complexas a jusante ou loops agênticos.

• Eficiência vs. Complexidade: Os autores argumentam que, sob orçamentos estritos de tempo de execução, um pipeline bem estruturado usando componentes pré-treinados modernos (família Qwen3) é suficiente para alcançar desempenho de nível superior sem necessidade de inovações arquitetônicas específicas da tarefa.
• Lacuna de Recursos: Ao introduzir o corpus de pré-treinamento de 80k e estratégias de ajuste fino, o trabalho aborda a escassez de conjuntos de dados de recuperação de alta qualidade em ucraniano, permitindo melhor generalização entre domínios.
• Praticidade: Os resultados sugerem que modelos "prontos para uso", quando combinados com preparação cuidadosa de dados (fragmentação contextual) e condicionamento apropriado (pergunta + opções), podem superar sistemas mais complexos e personalizados em ambientes restritos.

Os autores observam explicitamente que, embora sua abordagem seja robusta para o cenário de competição, ela depende de modelos relativamente grandes (8B–32B) e dados auxiliares traduzidos por máquina, o que pode apresentar desafios para implantações de produção com requisitos mais estritos de latência ou revisão manual. Eles identificam modelos de embedding bidirecionais (por exemplo, baseados em difusão) e fragmentação tardia como direções futuras promissoras se as restrições de computação forem relaxadas.