Resumo Técnico: SmartRAG – RAG Baseado em Grafos Nativo para Dispositivos Móveis

Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) como assistentes pessoais em dispositivos móveis enfrenta uma tensão fundamental: a necessidade de privacidade, baixa latência e disponibilidade offline versus as restrições computacionais e de memória do hardware de borda (edge). Embora a Geração Aumentada por Recuperação (RAG) ofereça uma solução ao integrar memória não paramétrica externa, as abordagens atuais em dispositivos dependem fortemente da "recuperação vetorial ingênua". Esse paradigma tem dificuldades com consultas complexas que exigem agregação de evidências entre segmentos, vinculação de entidades e raciocínio multi-salto (multi-hop). Por outro lado, os métodos de Graph RAG baseados em nuvem, que se destacam no raciocínio multi-salto, dependem de modelos massivos (dezenas de bilhões de parâmetros) para a construção do grafo e o raciocínio — recursos indisponíveis em dispositivos móveis.

O desafio central é que modelos leves em dispositivos carecem de capacidade para identificar entidades desconhecidas, organizar conceitos de cauda longa ou realizar raciocínio complexo baseado em grafos sem retreinamento. Além disso, confiar apenas na memória paramétrica limitada de modelos pequenos é insuficiente para atualizações contínuas e tarefas intensivas em conhecimento.

Metodologia: Arquitetura SmartRAG

O SmartRAG aborda essas limitações decompondo a inteligência no dispositivo em quatro módulos coordenados, transferindo o fardo da construção de memória estruturada do LLM para uma arquitetura de sistema especializada. O framework opera inteiramente em smartphones comuns utilizando um backbone quantizado de 1,7 bilhão de parâmetros.

1. Percepção: EvoNER (Reconhecimento de Entidades Nomeadas Evolucionário)

Para lidar com a natureza dinâmica dos dados do usuário sem retreinar o backbone do LLM, o SmartRAG utiliza o EvoNER, um reconhecedor de entidades nomeadas continuamente aprendível.

• Detecção Baseada em Span com Injeção de Caracteres: O EvoNER codifica sentenças de entrada em representações de sub-palavras e enumera spans candidatos. Ele aumenta os embeddings contextuais com características de nível de caractere para melhorar a robustez contra erros de ortografia e formas superficiais raras.
• Mecanismo de Labels Reservados: Para suportar a expansão contínua, o classificador é particionado em um cabeçalho base (para tipos de entidades implantados) e linhas reservadas para tipos futuros. Novos tipos de entidades são mapeados para linhas reservadas não utilizadas sem alterar a dimensionalidade da saída.
• Aprendizado Incremental: Quando novos tipos de entidades emergem, o EvoNER é atualizado via destilação guiada por professor, restrita ao subespaço do cabeçalho base. Isso permite que o sistema absorva conceitos não vistos enquanto preserva o desempenho nos tipos existentes.
• Atualizações em Três Estágios: Para acomodar as restrições de agendamento móvel, o treinamento segue um cronograma de três estágios: adaptação apenas dos cabeçalhos, adição de camadas de codificador parciais e, finalmente, permitindo uma breve consolidação do modelo completo.
• Descoberta de Tripletos: As entidades extraídas são categorizadas em tipos grosseiros. Entidades não vistas são agrupadas via agrupamento aglomerativo em vetores semânticos, com o LLM atribuindo rótulos a clusters coerentes.

2. Memória: MRGraph (Grafo de Proveniência Multicamadas)

O conhecimento extraído é armazenado no MRGraph, um grafo de conhecimento de três camadas projetado para recuperação eficiente e proveniência explícita.

• Camada 1 (Grafo Entidade–Parágrafo): O parágrafo é a unidade atômica. Nós de entidade são deduplicados e vinculados ao parágrafo de origem. As relações são armazenadas como arestas com chaves e contagens de observação para evitar crescimento descontrolado.
• Camada 2 (Camada de Abstração): Clusters semânticos são mantidos acima das entidades, com centroides atualizados via suavização. Esta camada suporta detecção de deriva de tópico e refinamento incremental de sumários.
• Camada 3 (Visão de Texto Bruto em Tempo de Execução): No momento da consulta, os parágrafos recuperados e as vizinhanças locais do grafo são montados em um contexto limitado por um orçamento de tokens, fornecendo evidências estruturadas e não estruturadas.

3. Foco: Recuperação Híbrida

O módulo Focus recupera evidências através de um pipeline híbrido que combina travessia de grafo, correspondência lexical e busca semântica densa.

• Recuperação de Texto Multi-salto Guiada por Plano: O sistema decompõe perguntas em um plano de recuperação (entidade semente, frases de relação, tipos alvo). Ele recupera parágrafos candidatos usando scores lexicais e densos fundidos, selecionando evidências via Relevância Marginal Máxima (MMR).
• Aumentação Estruturada em Grafo: Entidades de ponte do texto semeiam uma travessia de grafo. O sistema compara concatenações de nós contra sumários da camada de abstração e usa o PageRank Personalizado para estimar a importância do nó, expandindo o subgrafo.
• Fallback de Documento Completo: Se os estágios iniciais produzirem evidências insuficientes, uma recuperação global sobre documentos recupera referências transfronteiriças.

4. Pensamento: Operações Semânticas Dirigidas por LLM

O LLM no dispositivo é invocado esporadicamente para operações semânticas de alto valor, mantendo os custos de inferência limitados:

• Rotulagem: Atribuição de nomes a clusters de entidades emergentes.
• Sumarização: Agrupamento periódico do grafo de conhecimento e geração de sumários para formar um loop de memória autocompressível.
• Planejamento: Decomposição de perguntas complexas em planos de recuperação multi-salto para reduzir a ambiguidade da busca.
• Resposta: Geração de respostas condicionadas à evidência recuperada, restritas a esquemas estruturados para reduzir alucinações.

Principais Contribuições

1. Identificação do Problema: O artigo identifica que o raciocínio complexo exige memória estruturada e atualizável, mas os pipelines de construção de grafos existentes são excessivamente dependentes de LLMs poderosos para a sustentabilidade na borda.
2. Framework SmartRAG: Um novo método de RAG no dispositivo que realoca a escrita de memória de alta frequência para componentes treináveis leves (EvoNER), reservando o LLM para operações esparsas de alto valor.
3. EvoNER: Um reconhecedor de entidades continuamente aprendível que absorve categorias semânticas não vistas através de atualizações incrementais leves e destilação de professor, eliminando a necessidade de retreinar o backbone do LLM.
4. Pipeline End-to-End no Dispositivo: A integração de memória estruturada preservadora de proveniência e recuperação híbrida em um pipeline completo demonstrado em smartphones reais, alcançando forte desempenho sob rigorosas restrições de dispositivo.

Resultados Experimentais

Experimentos foram conduzidos em quatro benchmarks de QA (TriviaQA, Natural Questions, HotpotQA, MultiHopQA) usando um backbone Qwen3-1.7B quantizado rodando inteiramente em smartphones OnePlus 13 e OnePlus 15.

• Desempenho vs. Modelos Maiores: O SmartRAG com um modelo de 1,7 bilhão de parâmetros alcançou um desempenho de raciocínio multi-salto competitivo com modelos até 18× maiores (ex: Qwen3-32B e Ministral3-14B) no Natural Questions, HotpotQA e MultiHopQA.
• Comparação com Baselines de RAG: O SmartRAG superou significativamente outros métodos de recuperação aumentada (Naïve RAG, InstructRAG, StableRAG, TruthfulRAG) instanciados com os mesmos backbones de 1.7B/3B. Por exemplo, no MultiHopQA, o SmartRAG alcançou uma Correção (Cr) de 50,17% comparado a 45,66% para o Naïve RAG e 19,95% para o TruthfulRAG.
• Estudos de Ablação: Remover o componente MRGraph causou a maior queda de desempenho (Token-F1 de 0,5484 para 0,4151), confirmando o papel crítico da memória estruturada. Desativar o planejador de Pensamento (Thinking) e a recuperação híbrida também resultou em degradação significativa.
• Viabilidade no Dispositivo: Embora modelos de 4B sejam tecnicamente executáveis, o backbone de 1.7B permanece no "regime de implantação prática" em termos de memória (aprox. 4–5,5 GB PSS) e latência. A pegada de memória do modelo de 4B (aprox. 6,5–6,8 GB) e o maior Tempo para o Primeiro Token (TTFT) o tornam menos adequado para RAG interativo no dispositivo.

Significância e Alegações

O artigo afirma que o SmartRAG transforma a capacidade de conhecimento estruturado de um problema centrado no modelo para um problema de arquitetura de sistema. Ao desacoplar a extração de conhecimento, a organização da memória e o suporte ao raciocínio, o framework permite que componentes leves construam uma base de conhecimento estruturada que suporta raciocínio complexo sem o overhead computacional de modelos massivos.

Os autores enfatem que esta abordagem fornece um caminho prático para RAGs no dispositivo que difere do paradigma da nuvem. Demonstra que, sob restrições severas de dispositivo, melhorar a construção de memória e a organização de evidências pode ser tão importante quanto aumentar a contagem de parâmetros. O sistema alcança assistência pessoal com preservação de privacidade, offline e de baixa latência ao rodar inteiramente em smartphones comuns, evitando o envio de dados do usuário para a nuvem.

O artigo mantém-se modesto quanto às limitações, observando que o planejador atual é heurístico, a latência é dominada pelo preenchimento (prefilling) condicionado à recuperação, e a avaliação é atualmente limitada a benchmarks em inglês. Também reconhece que, embora o sistema construa grafos de conhecimento pessoal detalhados, a criptografia e o controle de acesso apropriados são necessários para mitigar preocupações de governança de dados caso o dispositivo seja comprometido.