Resumo Técnico: RAG de Baixo Consumo de Energia em NPU Móvel

Declaração do Problema

A proliferação de Modelos de Linguagem de Grande Escala (LLMs) criou uma demanda por sistemas de IA on-device que preservem a privacidade, reduzam a latência e permitam funcionalidades offline. A Geração Aumentada por Recuperação (RAG) é o paradigma dominante para fundamentar as saídas de LLMs em conhecimento externo, mas implantar um pipeline RAG completo em dispositivos móveis continua sendo um desafio. Um fluxo de trabalho RAG completo envolve múltiplas etapas neurais intensivas em computação: geração de embeddings, recuperação semântica, reclassificação (reranking) por cross-encoder e geração autoregressiva de LLM. Essas etapas coletivamente impõem restrições significativas de energia e térmica em plataformas móveis e de laptops, particularmente quando dependem de inferência por CPU, o que é energeticamente proibitivo para operação sustentada. Embora Unidades de Processamento Neural (NPUs) dedicadas estejam sendo cada vez mais integradas em SoCs para resolver isso, trabalhos anteriores focaram amplamente em inferência de modelo único (ex: preenchimento de LLM) em vez de pipelines RAG multi-modelo de ponta a ponta. Além além disso, as economias de energia e os trade-offs de desempenho de delegar um pipeline RAG completo de múltiplas etapas para uma NPU móvel não foram quantificados.

Metodologia

Os autores apresentam um design de sistema e um estudo de benchmark executado em um laptop Dell XPS 13 equipado com um SoC Qualcomm Snapdragon X Elite, apresentando uma NPU Hexagon (45 TOPS INT8).

Arquitetura do Sistema:
O sistema implementa um pipeline RAG de ponta a ponta composto por dois fluxos de trabalho distintos:

1. Pipeline de Indexação: Transforma um corpus de documentos em um índice vetorial pesquisável. Envolve parsing/fragmentação de documentos (pedaços de 1.000 caracteres com sobreposição de 500 caracteres, limitados pelos limites de contexto da NPU), geração de embeddings usando EmbeddingGemma 300M e construção de índice FAISS.
2. Pipeline de Consulta: Processa consultas de usuários através de reescrita de consulta (LLM), recuperação híbrida (combinando SQLite FTS5 e FAISS), reclassificação por cross-encoder usando Jina Reranker v2 e geração de resposta usando Qwen3-4B-Instruct.

Detalhes de Implementação:

• Backend da NPU: Todos os componentes neurais (embedding, reranking, LLM) são compilados antecipadamente em grafos de computação estáticos e executados via Qualcomm AI Runtime (QAIRT/QNN) SDK.
• Baselines: As mesmas arquiteturas de modelo e lógica de pipeline são comparadas contra baselines de CPU e GPU integrada (Adreno X1-85) usando llm.cpp com quantização GGUF. O reranker é fixado na NPU em todas as configurações devido a um defeito de pontuação em lote (batched-scoring) no backend OpenCL.
• Restrições de Engenharia: A implementação da NPU exigiu adaptações de engenharia específicas, incluindo uma ordem estrita de carregamento de modelos (modelo maior primeiro: LLM → Embedding → Reranker) para satisfazer os requisitos de alocação de memória contígua e janelas de contexto reduzidas (4.096 tokens) em comparação com implantações em CPU/GPU.

Métricas de Avaliação:

• Desempenho: Tempo de relógio (wall-clock time), throughput (tokens/s) e latência (Time-to-First-Token, velocidade de decodificação).
• Energia: Consumo de energia do sistema e consumo total de energia (Joules) medidos via telemetria HWiNFO64 com granularidade de 500ms.
• Qualidade: Qualidade da resposta avaliada usando GPT-4.1 como um juiz de LLM em uma rubrica de 1 a 10, juntamente com análise de taxa de falha e taxa de correção.
• Cargas de Trabalho: Indexação em 10 arquivos SEC 10-K (9.324 chunks) e processamento de consultas em 120 consultas dos datasets wiki-minirag e FinDER.

Principais Contribuições

1. Primeiro Pipeline RAG em NPU de Ponta a Ponta: Os autores implementam o que acreditam ser o primeiro sistema onde todas as três etapas de inferência neural (geração de embedding, reranking e geração de LLM) rodam inteiramente em uma NPU móvel (Qualcomm Hexagon).
2. Benchmarking Abrangente: O estudo fornece uma comparação granular de backends NPU, CPU e GPU tanto para cargas de trabalho de indexação quanto de consulta, medindo não apenas velocidade, mas também energia por componente e consumo total de energia do sistema.
3. Análise de Sustentabilidade Quantitativa: O artigo quantifica os benefícios de energia "superlineares" da delegação para NPU, demonstrando que os ganhos de velocidade se traduzem em economias de energia desproporcionais devido à redução do consumo médio de energia do sistema durante a execução.
4. Validação de Paridade de Qualidade: Através de avaliação rigorosa, o artigo estabelece que as restrições impostas pela NPU (janelas de contexto menores, tamanhos de chunk específicos) não degradam materialmente a qualidade da resposta em comparação com os baselines de CPU ou GPU.

Resultados

Desempenho:

• Indexação: A NPU alcançou um throughput de embedding 9,1× maior (3.325 vs 367 tokens/s) e um ganho de velocidade total de pipeline de 7,9× sobre o baseline de CPU.
• Processamento de Consulta: No benchmark wiki-minirag, a NPU entregou um preenchimento (prefilling) de LLM 18,1× mais rápido e uma latência de consulta de ponta a ponta 4,0× menor comparado à CPU.
• Desempenho da GPU: Contrariamente às expectativas para plataformas x86, a GPU integrada Adreno foi 1,7× mais lenta que o baseline de CPU para esta carga de trabalho e consumiu significativamente mais energia.

Eficiência Energética:

• Indexação: A NPU reduziu a energia total do sistema em 12,3× em comparação com a CPU. Isso foi impulsionado tanto pela velocidade quanto por uma redução de 35% no consumo médio de energia do sistema (27,6 W vs 42,7 W) conforme os clusters de CPU operavam próximos ao estado de ociosidade (idle).
• Processamento de Consulta: A NPU reduziu a energia total do sistema em 4,0× comparado à CPU e 6,5× comparado à GPU.
• Escalabilidade: Para uma carga de trabalho diária hipotética de 1.000 consultas, a NPU economiza aproximadamente 260 Wh por dia em comparação com o baseline de CPU.

Qualidade da Resposta:

• Uma avaliação do juiz GPT-4.1 encontrou a qualidade da resposta como equivalente (on par) entre todos os backends. A NPU obteve uma média de 9,32, comparada a 8,95 (CPU) e 9,03 (GPU).
• 86,7% das consultas receberam pontuações idênticas entre os três backends. A análise estatística indicou que as pequenas diferenças de pontuação foram dominadas pelo ruído do avaliador, em vez de lacunas substanciais de desempenho do backend.
• No teste especializado em domínio FinDER, a NPU exibiu um comportamento de recusa conservador (recusando-se a responder quando o contexto era insuficiente) semelhante à CPU, embora com uma taxa de resposta substantiva menor devido às restrições mais rígidas de janela de contexto.

Significância e Alegações

O artigo alega demonstrar que o RAG on-device prático e energeticamente eficiente é alcançável em NPUs móveis sem regressão de qualidade.

• Inteligência de Borda Verde (Green Edge Intelligence): O estudo posiciona a NPU da classe Hexagon como um caminho sustentável para a IA de borda, oferecendo reduções massivas de energia (até 12,3×) que tornam o RAG on-device contínuo viável para dispositivos alimentados por bateria.
• Checagem de Realidade de Hardware: Os resultados desafiam a suposição de que GPUs integradas são sempre o acelerador ideal para cargas de trabalho de LLM em SoCs móveis, mostrando que, para este workload específico de 4 bilhões de parâmetros, a NPU supera tanto a CPU quanto a GPU em velocidade e eficiência energética.
• Generalização: Embora o estudo seja específico para o Snapdragon X Elite, os autores esperam que essas descobertas se generalizem para NPUs móveis comparáveis (Apple Neural Engine, Intel NPU, MediaTek APU) à medida que seus stacks de software e ecossistemas de modelos amadureçam.
• Insights de Engenharia: O artigo destaca as restrições de engenharia críticas e não triviais do deployment em NPU (grafos estáticos, ordem de alocação de memória, limites de contexto) que devem ser endereçadas para realizar esses benefícios.

Os autores concluem que a aceleração por NPU permite um "caminho sustentável para a inteligência de borda verde", permitindo sistemas RAG que preservam a privacidade e possuem baixa latência, sendo energeticamente competitivos com as abordagens tradicionais baseadas em CPU.