Resumo Técnico: Rumo à Inteligência Sustentável em Dispositivos (On-Device)

Declaração do Problema

A rápida proliferação de Grandes Modelos de Linguagem (LLMs) criou uma tensão entre a intensidade computacional necessária para seu treinamento e inferência e a realidade de recursos limitados dos dispositivos de borda (smartphones, gateways IoT, sistemas embarcados). Embora a Geração Aumentada de Recuperação (RAG) tenha emergido como um paradigma dominante para fundamentar as saídas de LLMs em conhecimento externo e mitigar alucinações, os pipelines de RAG padrão assumem recursos de escala de nuvem (índices vetoriais extensos, busca suportada por GPU, memória generosa). Implantar RAG em dispositivos de borda introduz um trade-off multidimensional complexo entre precisão, latência, pegada de memória, consumo de energia e emissões de carbono.

Atualmente, a pesquisa em IA on-device, RAG e IA Verde (sustentabilidade) existe em três silos amplamente separados. Pesquisas existentes abordam pares desses domínios (por exemplo, IA on-device + RAG, ou IA Verde + compressão de modelos), mas falham em integrar todos os três em uma perspectiva unificada de design de sistema. Consequentemente, decisões de design — como a largura de bits de quantização, profundidade de recuperação e seleção de hardware — são frequentemente tomadas isoladamente, ignorando suas interdependências na sustentabilidade e no desempenho geral do sistema. Há uma carência de frameworks de avaliação unificados que meçam explicitamente energia e carbono ao lado de métricas tradicionais como precisão e latência.

Metodologia

Este artigo emprega uma abordagem de revisão estruturada da literatura inspirada nas diretrizes PRISMA 2020.

• Estratégia de Busca: Buscas sistemáticas foram conduzidas em cinco bases de dados (IEEE Xplore, ACM Digital Library, Scopus, Google Scholar, arXiv) usando consultas Booleanas combinando termos de três domínios: IA on-device (ex: "small language model", "NPU"), RAG (ex: "retrieval-augmented generation") e IA Verde (ex: "energy-efficient inference", "carbon footprint").
• Critérios de Seleção: A revisão focou em artigos revisados por pares, artigos de conferências e preprints bem citados de 2017 a agosto de 2026. Os artigos foram incluídos se abordassem pelo menos um dos três domínios e apresentassem métodos, sistemas ou benchmarks inovadores. O atendimento de LLMs exclusivamente em nuvem sem considerações de borda ou sustentabilidade foi excluído.
• Corpus: A busca inicial resultou em 1.247 artigos. Após deduplicação e triagem (título/resumo e texto completo), 108 artigos foram selecionados da busca sistemática. Outros 34 artigos foram identificados através de encadeamento de citações (backward e forward citation chaining). O corpus final analisado na pesquisa totaliza 142 artigos.
• Classificação: A literatura foi classificada em uma taxonomia hierárquica de nove categorias abrangendo três pilares:
  1. IA On-Device: Modelos de fundação, Pequenos Modelos de Linguagem (SLMs), Quantização/Compressão, Hardware NPU.
  2. RAG: Fundamentos centrais de RAG, Sistemas de RAG On-Device.
  3. IA Verde: Medição de sustentabilidade, Avaliação/Benchmarks, Aplicações/Estudos de Caso.

Principais Contribuições

1. Síntese Unificada de Três Pilares

O artigo fornece a primeira revisão que cobre conjuntamente a inferência de IA on-device, a geração aumentada de recuperação e a IA Verde/sustentabilidade como um único espaço de design. Ele analisa as interdependências entre esses domínios, como o modo como a quantização afeta o throughput e a energia da NPU, e como as estratégias de recuperação impactam tanto a qualidade da resposta quanto o overhead computacional.

2. Taxonomia Sistemática de 142 Artigos

Os autores classificam a literatura revisada em nove categorias específicas, mapeando a evolução do campo, desde arquiteturas Transformer fundamentais até hardware NPU especializado, pipelines de RAG eficientes e estratégias de inferência conscientes do carbono.

3. O Framework de Avaliação ALEMC

Uma contribuição central é a proposta do ALEMC (Accuracy, Latency, Energy, Memory, Carbon), um framework de avaliação unificado que estende as métricas de desempenho convencionais.

• Métricas: Define métricas formais para Precisão (média harmônica da pontuação da tarefa e fidelidade), Latência (Time-to-First-Token e End-to-End), Energia (Joules por consulta), Memória (Peak RSS) e Carbono (gCO2e por consulta).
• Pontuação: Introduz uma pontuação composta de média geométrica ponderada para permitir a comparação holística de configurações de sistema, garantindo que o desempenho ruim em uma dimensão (ex: alta energia) não possa ser mascarado por um desempenho forte em outra.
• Aplicação: O framework é aplicado para sintetizar princípios de design e comparar diferentes padrões de implantação.

4. Padrões de Integração para RAG On-Device Sustentável

O artigo sintetiza três padrões de design distintos que ocupam diferentes pontos no espaço de trade-off entre precisão-eficiência-sustentabilidade:

• Padrão 1: SLM Quantizado + Recuperador Leve + NPU: Uma configuração totalmente offline, de dispositivo único, utilizando SLMs quantizados em 4 bits (ex: Phi-3-mini, Gemma-2B) e recuperação baseada em grafos ou leve (ex: MiniRAG) para minimizar memória e energia.
• Padrão 2: Híbrido de Borda-Nuvem com Especulação: Uma arquitetura com gatilho de confiança onde um SLM local elabora rascunhos de respostas, e um modelo grande baseado em nuvem verifica apenas consultas de baixa confiança. Isso equilibra privacidade/eficiência local com precisão de nível de nuvem.
• Padrão 3: RAG Adaptativo Consciente do Carbono: Um sistema dinâmico que ajusta parâmetros de tempo de execução (DVFS, rank de adaptador LoRA, profundidade de recuperação) com base na intensidade de carbono da rede elétrica em tempo real e no estado da bateria do dispositivo para otimizar a sustentabilidade.

5. Identificação de Desafios Abertos e Roadmap

A pesquisa identifica seis desafios críticos abertos:

1. Lacunas de Hardware: As NPUs atuais são otimizadas para CNNs e carecem de suporte nativo para sequências de comprimento variável, operações esparsas e grafos dinâmicos exigidos por LLMs/RAG.
2. Benchmarks Padronizados: Falta de benchmarks de energia reproduzíveis para RAG on-device, dificultando comparações entre estudos.
3. Seleção de Modelo Consciente do Ciclo de Vida: A necessidade de considerar o carbono de treinamento e custos de retreinamento, não apenas a energia de inferência, ao selecionar modelos.
4. RAG Federado: Desafios na agregação segura de índices e privacidade diferencial para o compartilhamento colaborativo de conhecimento on-device.
5. RAG Multimodal na Borda: A dificuldade de implantar recuperação multimodal (texto, imagem, áudio) dentro de orçamentos rigorosos de memória e energia na borda.
6. Política e Regulação: A necessidade emergente de rotulagem de carbono padronizada e relatórios de energia para sistemas de IA.

Resultados e Observações Empíricas

O artigo não apresenta um novo resultado experimental único, mas sintetiza descobertas de 142 artigos revisados e inclui um estudo empírico controlado (Seção 7.3) para validar o framework ALEMC.

• Viabilidade: A síntese confirma que o RAG on-device sustentável é tecnicamente alcançável. Sistemas usando SLMs quantizados em 4 bits (1–3B parâmetros) com recuperação leve podem operar dentro de 2–4 GB de memória em NPUs móveis modernas, entregando respostas em menos de 2 segundos.
• Economia de Energia: A inferência on-device pode reduzir o consumo de energia em 10–100× comparado à inferência em nuvem para modelos pequenos, principalmente ao eliminar a transferência de rede e o overhead de infraestrutura (PUE). No entanto, essa vantagem diminui para modelos maiores ou consultas de alta frequência, onde o carbono incorporado e a intensidade da rede local tornam-se dominantes.
• Trade-offs: O estudo empírico e a síntese da literatura demonstram retornos decrescentes acentuados: passar de um modelo de 1 bilhão de parâmetros em 4 bits para um modelo de 7 bilhões de parâmetros em precisão total pode melhorar a precisão em apenas 3–5%, enquanto aumenta o consumo de energia em uma ordem de magnitude.
• Compressão de Contexto: Técnicas como SparseRAG e Redução de Conteúdo Seletivo podem reduzir o comprimento do contexto em 30–55% com perda negligível de precisão, reduzindo diretamente o compute de prefill e a energia do cache KV.

Significância e Alegações

O artigo alega que sua principal significância reside na síntese de três comunidades de pesquisa adjacentes em um framework coerente. Argumenta-se que o design de sistemas de RAG on-device sustentáveis não pode ser alcançado otimizando apenas um pilar (compressão, recuperação ou sustentabilidade) isoladamente.

• Mudança de Discurso: O trabalho visa mudar a pergunta de pesquisa de "Podemos rodar RAG on-device?" (o que já foi respondido afirmativamente) para "Podemos rodar RAG on-device sustentavelmente?".
• Perspectiva Unificada: Ao expor interdependências — como o modo como a largura de bits de quantização dita a memória disponível para índices de recuperação, ou como a profundidade de recuperação impacta o consumo de energia — o artigo fornece uma base principiológica para o design de sistemas.
• Framework Acionável: O framework ALEMC e os padrões de integração identificados oferecem aos praticantes uma metodologia concreta para navegar na fronteira de Pareto multidimensional de precisão, latência, energia, memória e carbono.
• Direções Futais: O artigo delineia um roadmap de pesquisa, clamando por benchmarks de energia padronizados, co-design de hardware NPU para LLMs e o desenvolvimento de ferramentas de seleção de modelos conscientes do ciclo de vida para guiar o campo em direção a uma inteligência de borda verdadeiramente sustentável.