RMIT-ADM+S at the MMU-RAG NeurIPS 2025 Competition

Resumo Técnico: Sistema R2RAG para a Competição MMU-RAG NeurIPS 2025

1. Problema e Contexto

O artigo aborda os desafios na construção de sistemas de Geração Aumentada por Recuperação (RAG) que sejam não apenas precisos, mas também adaptáveis a diferentes níveis de complexidade de consulta e eficientes em termos de recursos computacionais. A competição MMU-RAG (NeurIPS 2025) focou em uma avaliação centrada no usuário, distinguindo-se de métricas estáticas tradicionais ao incluir modos de avaliação dinâmica (RAG-Arena). O problema central era desenvolver um sistema capaz de:

• Lidar com consultas simples e complexas (pesquisa profunda) de forma diferenciada.
• Operar sob restrições rigorosas de hardware (uma única GPU de nível consumidor).
• Superar as limitações de avaliações puramente sintéticas, que muitas vezes não capturam nuances qualitativas e falhas de raciocínio em cenários reais.

2. Metodologia: Arquitetura R2RAG (Routing-to-RAG)

O sistema proposto, R2RAG, é uma arquitetura de RAG dinâmica que utiliza componentes leves e modelos de linguagem (LLMs) menores para adaptar a estratégia de recuperação com base na complexidade inferida da consulta.

• Classificador de Consultas:

  • O sistema emprega um classificador baseado em LLM (especificamente Qwen3-4B) para distinguir entre consultas "simples" (fatos diretos) e "complexas" (requerem raciocínio de longo prazo ou síntese multi-etapa).
  • Embora um classificador de Regressão Logística (LR) tenha sido testado, o LLM foi escolhido por sua capacidade de lidar com consultas fora de distribuição e flexibilidade de prompt, apesar do custo computacional ligeiramente maior.

• Duas Rotas de Processamento:

  1. Vanilla RAG (Consultas Simples):
     • Processa a consulta em uma única passagem.
     • Gera variantes de consulta para ampliar a cobertura de recuperação.
     • Realiza recuperação paralela no índice ClueWeb22-A, seguida por reclassificação (reranking) usando o modelo Qwen3-Reranker-0.6B.
     • Gera a resposta final com citações inline, limitando o contexto a 5.000 palavras para eficiência.
  2. Vanilla Agent (Consultas Complexas):
     • Opera em um loop iterativo de busca.
     • Realiza múltiplas rodadas de recuperação, reformulando consultas e acumulando evidências.
     • Utiliza um módulo de Revisão de Documentos (baseado em LLM) para avaliar a suficiência da informação, identificar lacunas de conhecimento e determinar se novas buscas são necessárias.
     • Critérios de parada: limite de tokens (20k), cobertura de informação estimada (100%) ou limite máximo de iterações (5).

• Seleção de Modelos e Infraestrutura:

  • O sistema foi projetado para rodar em uma única GPU de nível consumidor.
  • Utiliza o modelo Qwen3-4B (sem quantização, para preservar o raciocínio em contexto longo) e o Qwen3-Reranker-0.6B.
  • A inferência é gerenciada pelo vLLM para eficiência.
  • O contexto foi ajustado para 25.000 tokens para equilibrar desempenho e limites de memória.

3. Contribuições Chave

• Arquitetura Dinâmica Adaptativa: A introdução do conceito de Routing-to-RAG, onde a estratégia de recuperação muda dinamicamente conforme a complexidade da tarefa, evitando o desperdício de recursos em consultas simples e garantindo profundidade em consultas complexas.
• Validação Qualitativa e Iterativa: Diferente de abordagens puramente quantitativas, o desenvolvimento do sistema foi guiado por uma avaliação qualitativa de foco com 20 participantes (de estudantes a professores). Isso revelou trade-offs não capturados por métricas automáticas, como a preferência por respostas concisas em consultas simples versus detalhadas em consultas complexas.
• Eficiência de Recursos: Demonstração de que sistemas de RAG complexos e dinâmicos podem ser executados eficazmente em hardware acessível (GPU única) através da seleção cuidadosa de modelos menores e otimização de janelas de contexto.
• Reprodutibilidade: O código do sistema foi liberado publicamente, facilitando a reprodutibilidade e o avanço da pesquisa em RAG.

4. Resultados

• Desempenho na Competição: O sistema R2RAG venceu a categoria Open Source e recebeu o prêmio "Best Dynamic Evaluation" na pista Text-to-Text da competição MMU-RAG NeurIPS 2025.
• Eficácia: O sistema demonstrou alta eficácia na avaliação dinâmica, superando abordagens estáticas ao adaptar-se em tempo real às necessidades do usuário.
• Análise de Trade-offs: A avaliação qualitativa mostrou que o agente "Vanilla Agent" lidava melhor com consultas complexas, enquanto o "Vanilla RAG" era superior em concisão para consultas simples. A arquitetura de roteamento combinou o melhor dos dois mundos.

5. Significado e Impacto

O trabalho destaca a importância de alinhar o design de sistemas de IA com avaliações centradas no usuário e condições de recursos realistas.

• Mudança de Paradigma: Sugere que a métrica de sucesso em RAG não deve ser apenas a precisão estática, mas a capacidade do sistema de planejar, inspecionar evidências e ajustar ações dinamicamente.
• Acessibilidade: Prova que não é necessário um hardware massivo para construir sistemas de pesquisa profunda de alta qualidade, democratizando o acesso a tecnologias RAG avançadas.
• Validação de Métodos: Reforça que a avaliação qualitativa e dinâmica é essencial para identificar modos de falha e refinar prompts, complementando (e às vezes contradizendo) as métricas automáticas agregadas.

Em suma, o R2RAG representa um avanço significativo na engenharia de sistemas RAG, combinando eficiência computacional, adaptação dinâmica e validação rigorosa baseada no usuário para resolver problemas complexos de informação.