💻 ciência da computação

Sustainable Local RAG Architectures for Energy Governance: A Green AI Approach via Document Slice Contextualization

Este artigo propõe uma arquitetura RAG local e sustentável usando contextualização de Fatiamento de Documento (Document Slice) e um agente de roteamento de dois níveis para alcançar uma precisão de recuperação próxima à linha de base, enquanto reduz drasticamente o consumo de energia, as emissões e o tempo de inferência para conformidade de governança energética.

Autores originais: Martin Tibor Sándor, Róbert Lakatos

Publicado 2026-10-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Martin Tibor Sándor, Róbert Lakatos

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo moderno, as organizações estão se afogando em documentos. De regulamentações de energia a pesquisas científicas, a informação necessária para tomar decisões críticas está trancada em milhares de páginas de texto. Para dar sentido a isso, muitas instituições estão recorrendo à inteligência artificial, especificamente a sistemas que podem ler um documento, encontrar as partes relevantes e responder perguntas com base nelas. Esse processo, conhecido como geração aumentada por recuperação (RAG - retrieval-augmented generation), funciona dividindo um documento longo em pedaços menores, ou fragmentos (chunks), e pedindo a um modelo de computador para resumir cada pedaço antes de buscar respostas. No entanto, um problema significativo surgiu: a maneira mais precisa de fazer isso exige que o computador leia o documento inteiro todas as vezes que resume um pequeno pedaço. Essa abordagem é incrivelmente faminta por energia e demanda hardware de computador potente e caro que a maioria dos escritórios locais não pode pagar. Para setores como a governança de energia, onde as leis exigem que os dados permaneçam dentro do país e não possam ser enviados para um servidor de nuvem distante, isso cria um gargalo. A tecnologia existe, mas o custo de executá-la localmente é frequentemente muito alto, tanto em termos de eletricidade quanto de memória física do computador.

Pesquisadores da Universidade de Debrecen, na Hungria, desenvolveram um novo método para resolver este problema, permitindo que essas ferramentas poderosas de IA funcionem de forma eficiente em computadores de escritório padrão. O trabalho deles foca em uma técnica chamada "Contextualização de Fatias de Documento" (Document Slice Contextualization). Em vez de forçar o computador a ler o documento inteiro para entender um único parágrafo, o novo sistema decide inteligentemente quanto texto ao redor é realmente necessário. Imagine um bibliotecário que, em vez de lhe entregar a enciclopédia inteira para encontrar uma definição, abre apenas a página específica e as poucas páginas imediatamente ao lado dela. Os pesquisadores construíram um agente de roteamento inteligente que atua como esse bibliotecário. Antes de resumir um fragmento de texto, esse agente verifica rapidamente se o fragmento é autoexplicativo, como um resumo ou uma conclusão, ou se precisa de ajuda de seus vizinhos para fazer sentido. Se o fragmento for autoexplicativo, o sistema pula a etapa de sumarização inteiramente. Se ele precisar de contexto, o agente decide exatamente quantas páginas vizinhas incluir, em vez de incluir cegamente o livro todo.

A equipe testou essa abordagem em uma coleção de vinte e cinco artigos científicos e quatro documentos de políticas complexos da Comissão Europeia. Eles compararam seu novo método de roteamento inteligente contra a abordagem tradicional que lê o documento inteiro a cada vez. Os resultados foram impressionantes. O novo sistema alcançou quase o mesmo nível de precisidade na busca da informação correta que o método pesado e intensivo em energia, mas o fez com uma fração do esforço. Especificamente, o novo método reduziu a energia necessária para gerar respostas em 87,6 por cento. Em termos práticos, uma tarefa que anteriormente levava quase uma hora e consumia mais de 100 watt-hora de eletricidade foi concluída em menos de nove minutos usando apenas 13,2 watt-hora. Essa redução também significou uma queda massiva nas emissões de carbono, cortando a produção de 21,8 gramas de dióxido de carbono equivalente para apenas 2,8 gramas.

Uma descoberta fundamental do estudo é que o agente de roteamento "inteligente" não apenas economizou energia; ele também melhorou a qualidade da busca em alguns aspectos. Ao pular a sumarização de fragmentos que já eram claros, o sistema evitou adicionar ruído desnecessário ao processo de busca. Isso permitiu que o computador encontrasse a informação mais relevante de forma mais rápida e precisa. Os pesquisadores mediram isso usando um teste padrão de 250 perguntas difíceis que exigiam conectar informações de várias partes de um documento. Seu novo sistema encontrou as respostas corretas em 95,2 por cento dos casos, um número quase idêntico aos 95,4 por cento alcançados pelo método muito mais lento e pesado em energia. Além disso, o sistema funcionou com sucesso em uma placa de vídeo de um laptop padrão com apenas 8 gigabytes de memória, um dispositivo que teria travado sob o peso do método tradicional.

As implicações deste trabalho estendem-se além de apenas economizar eletricidade. Para indústrias como a governança de energia, onde leis rigorosas ditam que os dados devem permanecer locais e sob o controle da organização, esta tecnologia torna a IA avançada viável. Ela prova que a inteligência artificial de alto desempenho não requer centros de dados massivos e centralizados. Em vez disso, ela pode ser realizada localmente em hardware comum, tornando a tecnologia acessível para instituições menores e garantindo que os dados sensíveis nunca deixem as instalações. Os pesquisadores descrevem sua abordagem como "IA Verde" (Green AI), enfatizando que a eficiência deve ser um objetivo primário ao lado da inteligência. Ao tornar o processo preciso, explicável e comprovável, eles criaram um caminho para que as organizações possam auditar sua própria conformidade e gerenciar seus sistemas de energia com ferramentas que são tanto poderosas quanto sustentáveis. O estudo confirma que, com o design correto, podemos ter o melhor dos dois mundos: a compreensão profunda dos grandes modelos de IA sem os custos ambientais e de hardware massivos que normalmente acompanham esses modelos.

Resumo Técnico: Arquiteturas RAG Locais Sustentáveis para Governança de Energia

Problema
O artigo aborda a tensão entre as demandas computacionais da Geração Aumentada por Recuperação (RAG) e as restrições rigorosas de governança de energia e soberania de dados. As abordagens atuais de "Red AI" para contextualização no tempo de indexação — onde cada fragmento de documento é resumido em relação ao documento inteiro — dependem de atenção auto-regressiva quadrática e caches de chave-valor (KV) que crescem linearmente. Esse padrão empurra os requisitos de memória além dos 8 GB de VRAM de GPUs de nível de consumo, forçando organizações a depender de centros de dados na nuvem. No entanto, reguladores de energia e auditores muitas vezes não podem externalizar o processamento de dados devido a regras de soberania de dados (ex: GDPR, AI Act) e à necessidade de auditoria de conformidade defensável e local (on-premises). O desafio é alcançar um RAG de alta precisão em hardware comum sem os custos de memória quadrática e de energia da contextualização de documentos completos.

Metodologia
Os autores propõem uma arquitetura "Green AI" centrada na Contextualização de Fatias de Documentos e em um Agente de Roteamento de Dois Níveis, projetada para rodar inteiramente em uma única estação de trabalho com uma GPU de 8 GB.

Contextualização de Fatias de Documentos: Em vez de alimentar o documento inteiro ao sumarizador para cada fragmento, o sistema define uma "fatia" delimitada de fragmentos vizinhos ao redor de um fragmento alvo $c_i$ . O tamanho da fatia é determinado por um raio de contexto $k$ . Para lidar com as fronteiras do documento, a implementação limita a fatia, garantindo que o fragmento alvo permaneça central na janela de contexto. Isso delimita o comprimento do prompt a um tamanho fixo, independentemente do comprimento total do documento, evitando que o cache KV exceda a VRAM física.
Agente de Roteamento de Dois Níveis: Um agente de roteamento determina o raio $k$ $k$ ideal para cada fragmento antes de qualquer sumarização ocorrer, utilizando o mesmo modelo de linguagem pequeno (SLM) que realiza a sumarização.
- Nível 1 (Portão Determinístico): Um portão baseado em regex identifica "fragmentos de tabelas" (tabelas serializadas ou legendas) e atribui a eles um raio fixo ( $k=2$ ) sem invocar o modelo.
- Nível 2 (Roteador SLM): Para fragmentos não pertencentes a tabelas, o agente realiza uma passagem forward de um único token de um modelo de 4 bilhões de parâmetros (Gemma 3 4B-it-qat). O modelo decide se um fragmento é "autoexplicativo" (ex: resumos, conclusões, referências) e não requer contexto ( $k=0$ , pulando a sumarização) ou se "precisa de vizinhos" ( $k=2$ ).
Execução do Pipeline: O pipeline roda sequencialmente em uma única GPU para evitar troca de memória (swapping):
- Roteamento & Sumarização: O roteador atribui raios; o sumarizador gera resumos enriquecidos com contexto para os fragmentos onde $k > 0$ .
- Embedding & Indexação: O texto enriquecido é transformado em vetores usando nomic-embed-text-v1.5 e indexado no LanceDB.
- Recuperação: Um sistema de recuperação híbrida (BM25 + busca vetorial densa) reclassifica os resultados usando ColBERTv2.

Principais Contribuições

Formalização de Fatias Delimitadas: O artigo fornece uma definição formal de fatias de documentos delimitadas e com limites de borda, e um modelo de complexidade provando que esta abordagem reduz o trabalho de atenção no tempo de indexação de $O(n^3)$ (documento completo) para $O(n)$ (fatia delimitada), onde $n$ é o número de fragmentos.
Política de Roteamento por Fragmento: Introduz um mecanismo de roteamento leve que seleciona dinamicamente as janelas de contexto, pulando a sumarização para fragmentos autoexplicativos. Isso reduz o número de chamadas ao sumarizador e o total de tokens do prompt.
Protocolo de Medição de Green AI: O estudo implementa um protocolo rigoroso de contabilidade de energia usando CodeCarbon, rastreando a potência de GPU, CPU e memória para gerar livros de registro de energia por execução e estimativas de emissão de carbono, garantindo reprodutibilidade.
Viabilidade Local: Demonstra que um pipeline RAG de alta fidelidade pode operar dentro do envelope de memória de 8 GB de uma GPU de notebook de consumo (RTX 4060), um requisito crítico para a governança de energia local.

Resultados
Avaliado em 25 artigos científicos (382 fragmentos, 250 perguntas de múltiplos saltos) e quatro documentos de políticas da Comissão Europeia:

Precisão: O pipeline roteado alcançou um Recall@20 de 0,952, estatisticamente indistinguível da linha de base de documento completo (0,954) e superior à fatia estática de $k=3$ (0,945). Também alcançou o maior MRR (Mean Reciprocal Rank) e MAR (Mean Average Rank) @20.
Eficiência:
- Energia: O pipeline roteado reduziu a energia de geração rastreada em 87,6% (de 106,7 Wh para 13,2 Wh) e as emissões de CO2 em 87,0% (de 21,8 g para 2,8 g) em comparação com a linha de base de documento completo.
- Tempo: O tempo de geração foi reduzido em 84,1% (de 54:54 para 8:45).
- Memória: A abordagem manteve o cache KV dentro do limite de 8 GB, enquanto a linha de base de documento completo exigiria uma janela de 30.000 tokens que causaria paginação de memória no mesmo hardware.
Comportamento de Roteamento: O roteador atribuiu um raio médio de 1,37, pulando 32% dos fragmentos (principalmente resumos, referências e agradecimentos) e atribuindo $k=2$ aos demais. Isso confirmou que nem todos os fragmentos requerem contexto de documento completo.
Robustez Cross-Domain: Nos documentos de política da Comissão Europeia, uma variante de raio fixo ( $k=3$ ) manteve o desempenho dentro de 0,6 pontos da linha de base, enquanto economizou 71,8% de energia.

Significância e Alegações
O artigo afirma oferecer um caminho PEP-AI (Preciso, Explicável, Provável) para auditoria de conformidade descentralizada. Ao delimitar o contexto e as decisões de roteamento, a arquitetura permite:

Métricas Reproduzíveis: O desempenho é medido contra padrões de ouro com testes de significância estatística.
Decisões Inspecionáveis: Cada decisão de roteamento é registrada com sua evidência (log-probabilidades), permitindo trilhas de auditoria.
Energia Verificável: Os livros de registro de energia por execução fornecem um registro comprovável da pegada de carbono do processo de IA.

Os autores afirmam que esta abordagem permite que órgãos de governança de energia executem sistemas RAG sofisticados e defensáveis em hardware local comum, aderindo às regulamentações de soberania de dados sem sacrificar a precisão da contextualização de documentos completos. O trabalho posiciona a contextualização roteada e delimitada como uma escolha de Pareto dominante, oferecendo precisão quase ótima com custos drasticamente reduzidos de tempo e energia.

Mais como este