Resumo Técnico: OCC-RAG: Núcleo Cognitivo Ótimo para Resposta de Perguntas Fiel

Declaração do Problema

Avanços recentes em Grandes Modelos de Linguagem (LLMs) têm sido impulsionados principalmente pelo escalonamento, resultando em modelos que absorvem vastas quantidades de conhecimento de mundo em seus pesos. No entanto, muitas aplicações práticas, particularmente aquelas que exigem Resposta de Perguntas de Contexto (Context QA), beneficiam-se mais de um raciocínio robusto e da adesão estrita à evidência fornecida do que de um extenso conhecimento paramétrico.

Os LLMs atuais enfrentam três desafios críticos na Context QA:

1. Falta de Fidelidade: Os modelos frequentemente priorizam seu conhecimento paramétrico interno sobre o contexto fornecido, levando a alucinações ou respostas que contradizem o texto de entrada (ex: responder com base em fatos do mundo real quando o contexto apresenta um cenário contrafactual).
2. Raciocínio Multi-hop Insuficiente: Os modelos têm dificuldade em sintetizar informações através de partes díspares de um contexto para preencher lacunas lógicas sem depender de atalhos memorizados.
3. Incapacidade de Abster-se: Os modelos frequentemente falham em reconhecer quando um contexto é insuficiente, ambíguo ou carece de informações necessárias, levando a respostas confiantes, porém incorretas, em vez de uma recusa calibrada.

Embora os Pequenos Modelos de Linguagem (SLMs) ofereçam uma alternativa principista e de baixo custo, eles muitas vezes carecem do treinamento especializado para realizar essas tarefas de forma confiável sem alucinar ou recorrer ao conhecimento memorizado.

Metodologia

Os autores introduzem o Optimal Cognitive Core (OCC), uma família de SLMs projetada para priorizar capacidades de raciocínio específicas para a tarefa em detrimento da capacidade de conhecimento. A variante específica apresentada, OCC-RAG, é otimizada para resposta de perguntas fiel e fundamentada no contexto.

1. Arquitetura do Modelo e Estratégia de Treinamento

• Modelos Base: Os autores selecionaram o Qwen3-0.6B-Base e o Qwen3-1.7B-Base como pontos de partida, determinados como os melhores desempenhos entre as famílias de SLMs de pesos abertos (incluindo Gemma3 e SmolLM3) em fatias iniciais de QA.
• Mid-Training: Em vez de pré-treinar do zero, os modelos passam por um mid-training (ajuste fino supervisionado) em um corpus sintético massivo. Esta etapa é projetada para moldar explicitamente a arquitetura de raciocínio do modelo para Context QA.
• Objetivo de Treinamento: A perda (loss) é aplicada apenas aos tokens de resposta. O modelo é treinado para gerar traços de raciocínio estruturados que incluem citações de fontes fundamentadas em citações literais do contexto.

2. Pipeline de Dados Sintéticos

O núcleo da metodologia é um pipeline inovador para sintetizar um corpus de mais de 3,25 milhões de exemplos de QA. Os dados são projetados para impor três comportamentos específicos: inferência multi-hop, fidelidade estrita ao contexto e abstenção calibrada.

• Composição de Dados:
  • QA Single-hop: O maior subconjunto (~2,78M pares), gerado pela ingestão de páginas da Wikipedia, limpeza de texto e geração de pares de QA extrativos.
  • QA Multi-hop: Gerado usando um Grafo de Conhecimento (KG) extraído do contexto (pedaços de ouro e de distração) via pipeline Wikontic. Isso garante a existência de entidades de "ponte" e fornece controle estrutural sobre a complexidade do raciocínio. O pipeline amostra caminhos do KG para gerar perguntas que exigem a fusão de informações através de múltiplos parágrafos.
  • QA Não-Respondível (Abstention) QA: Um subconjunto de ~43k exemplos onde o contexto é deliberadamente insuficiente. Estes são construídos usando um modelo DeBERTa ajustado para identificar casos onde um modelo extrativo não consegue recuperar a resposta de um contexto reduzido, sinalizando informação ausente.
• Traços de Raciocínio Estruturados: Cada instância de treinamento inclui um traço de raciocínio explícito formatado em quatro seções:
  1. Análise da Query: Identifica a intenção da pergunta e as entidades.
  2. Análise da Fonte: Atribui fatos a passagens específicas da fonte.
  3. Raciocínio: Combina fatos para derivar a resposta.
  4. Status e Resposta: Um veredito explícito de RESPONDÍVEL/NÃO-RESPONDÍVEL seguido pela resposta final.
• Estratégia de Mixagem de Dados: Para garantir que o modelo desenvolva capacidades de raciocínio, o currículo de treinamento superamostra exemplos multi-hop (mostrados 3 vezes por época) em comparação com exemplos single-hop (mostrados uma vez), apesar de os dados single-hop dominarem o orçamento de tokens.

3. Benchmarks de Avaliação

Os modelos são avaliados em três dimensões principais:

• Raciocínio Multi-hop: HotpotQA, MuSiQue e TAT-QA (medindo In-Accuracy e F1).
• Fidelidade: ConFiQA, que testa o desempenho em contextos contrafatuais. As métricas incluem In-Accuracy e a Razão de Memorização (MR), medindo com que frequência o modelo recorre ao conhecimento paramétrico em vez do contexto.
• Recusa: MuSiQue-Un, medindo a habilidade de identificar corretamente perguntas não-respondíveis (Acurácia de Recusa).

Principais Resultados

Os modelos lançados, OCC-RAG-0.6B e OCC-RAG-1.7B, demonstram que SLMs compactos e especializados em tarefas podem igualar ou exceder modelos de propósito geral de 2 a 6 vezes o seu tamanho.

• Desempenho vs. Tamanho:
  • OCC-RAG-0.6B supera o Gemma3-4B e o SmolLM3-3B em todas as dimensões (multi-hop, fidelidade e recusa).
  • OCC-RAG-1.7B alcança resultados competitivos ou superiores ao Qwen3-4B em modo de pensamento (thinking mode) no raciocínio multi-hop e supera-o significativamente em fidelidade e recusa.
• Fidelidade e Memorização:
  • O OCC-RAG-1.7B reduz a Razão de Memorização (MR) de 12,7 (Qwen3-1.7B) para 5,0, demonstrando uma forte habilidade de priorizar o contexto fornecido sobre o conhecimento interno.
  • No ConFiQA, o OCC-RAG-0.6B excede o Qwen3-1.7B em 9,5 pontos.
• Capacidades de Recusa:
  • O OCC-RAG-1.7B atinge 87,2% de Acurácia de Recusa, performando em nível de modelos de 8 bilhões de parâmetros ou mais, enquanto baselines menores lutam significativamente.
• Comparação com Baselines Especializados:
  • O OCC-RAG-0.6B supera o anterior baseline especializado, Pleias-RAG-1.2B, por 21,6 pontos no MuSiQue e supera significativamente este último em métricas de fidelidade.

Significância e Alegações

O artigo postula que a fidelidade não requer escala sozinha. Em vez disso, ela pode ser aprendida através de um currículo de treinamento e formato de supervisão específicos.

• Núcleo Cognitivo Ótimo: Os autores argumentam que para aplicações onde a correção deve estar ligada à evidência (ex: domínios jurídicos, médicos ou de checagem de fatos), um "núcleo cognitivo ótimo" — uma arquitetura compacta e especializada na tarefa — é uma alternativa prática e eficiente aos modelos de propósito geral cada vez maiores.
• Abstenção Aprendida: O trabalho demonstra que a "abstenção segura" pode ser transformada de uma heurística em um comportamento de raciocínio aprendido através de supervisão estruturada, tornando os SLMs mais confiáveis em cenários de alto risco.
• Eficiência: Ao realizar o mid-training em um corpus sintético de traços de raciocínio estruturados, os autores mostem que os SLMs podem internalizar o processo de inferência multi-hop e fundamentação de evidências sem o custo computacional de escalar os parâmetros do modelo ou usar a inferência de modo "thinking mode" completo.

O artigo conclui que o OCC-RAG fornece uma receita reutilizável para construir sistemas de QA transparentes, eficientes e robustos que são resilientes a evidências ausentes ou conflitantes.