💻 ciencias de la computación

Sustainable Local RAG Architectures for Energy Governance: A Green AI Approach via Document Slice Contextualization

Este artículo propone una arquitectura RAG local y sostenible utilizando la contextualización de fragmentos de documentos (Document Slice) y un agente de enrutamiento de dos niveles para lograr una precisión de recuperación cercana a la del modelo base, reduciendo drásticamente el consumo de energía, las emisiones y el tiempo de inferencia para el cumplimiento de la gobernanza energética.

Autores originales: Martin Tibor Sándor, Róbert Lakatos

Publicado 2026-10-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Martin Tibor Sándor, Róbert Lakatos

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo moderno, las organizaciones se están ahogando en documentos. Desde regulaciones energéticas hasta investigación científica, la información necesaria para tomar decisiones críticas está encerrada en miles de páginas de texto. Para dar sentido a esto, muchas instituciones están recurriendo a la inteligencia artificial, específicamente a sistemas que pueden leer un documento, encontrar las partes relevantes y responder preguntas basadas en ellos. Este proceso, conocido como generación aumentada por recuperación, funciona dividiendo un documento largo en piezas más pequeñas, o fragmentos, y pidiendo a un modelo informático que resuma cada pieza antes de buscar respuestas. Sin embargo, ha surgido un problema significativo: la forma más precisa de hacer esto requiere que la computadora lea el documento completo cada vez que resume una pequeña parte. Este enfoque consume una cantidad increíble de energía y exige hardware informático potente y costoso que la mayoría de las oficinas locales no pueden permitirse. Para sectores como la gobernanza energética, donde las leyes exigen que los datos permanezcan dentro del país y no puedan enviarse a un servidor remoto en la nube, esto crea un cuello de botella. La tecnología existe, pero el costo de ejecutarla localmente es a menudo demasiado alto, tanto en términos de electricidad como de la memoria física de la computadora.

Investigadores de la Universidad de Debrecen en Hungría han desarrollado un nuevo método para resolver este problema, permitiendo que estas potentes herramientas de IA funcionen de manera eficiente en computadoras de oficina estándar. Su trabajo se centra en una técnica llamada "Contextualización de Rebanadas de Documentos" (Document Slice Contextualization). En lugar de obligar a la computadora a leer el documento completo para entender un solo párrafo, el nuevo sistema decide inteligentemente cuánto texto circundante es realmente necesario. Imagine a un bibliotecario que, en lugar de entregarle la enciclopedia entera para encontrar una definición, solo abre la página específica y las pocas páginas inmediatamente contiguas. Los investigadores construyeron un agente de enrutamiento inteligente que actúa como este bibliotecario. Antes de resumir un fragmento de texto, este agente verifica rápidamente si el fragmento es autoexplicativo, como un resumen o una conclusión, o si necesita ayuda de sus vecinos para tener sentido. Si el fragmento es autoexplicativo, el sistema omite el paso de la sumarización por completo. Si necesita contexto, el agente decide exactamente cuántas páginas vecinas incluir, en lugar de incluir ciegamente todo el libro.

El equipo probó este enfoque en una colección de veinticinco artículos científicos y cuatro complejos documentos de políticas de la Comisión Europea. Compararon su nuevo método de enrutamiento inteligente contra el enfoque tradicional que lee el documento completo cada vez. Los resultados fueron sorprendentes. El nuevo sistema logró casi el mismo nivel de precisión que el método pesado y de alto consumo energético para encontrar la información correcta, pero lo hizo con una fracción del esfuerzo. Específicamente, el nuevo método redujo la energía requerida para generar respuestas en un 87.6 por ciento. En términos prácticos, una tarea que anteriormente tomaba casi una hora y consumía más de 100 vatios-hora de electricidad se completó en menos de nueve minutos utilizando solo 13.2 vatios-hora. Esta reducción también significó una caída masiva en las emisiones de carbono, reduciendo la producción de 21.8 gramos de dióxido de carbono equivalente a solo 2.8 gramos.

Un hallazgo clave del estudio es que el agente de enrutamiento "inteligente" no solo ahorró energía; de hecho, mejoró la calidad de la búsqueda en algunos aspectos. Al omitir la sumarización de fragmentos que ya eran claros, el sistema evitó añadir ruido innecesario al proceso de búsqueda. Esto permitió que la computadora encontrara la información más relevante de manera más rápida y precisa. Los investigadores midieron esto utilizando una prueba estándar de 250 preguntas difíciles que requerían conectar información de múltiples partes de un documento. Su nuevo sistema encontró las respuestas correctas en el 95.2 por ciento de los casos, una cifra casi idéntica al 95.4 por ciento logrado por el método mucho más lento y de alto consumo energético. Además, el sistema se ejecutó con éxito en una tarjeta gráfica de una computadora portátil estándar con solo 8 gigabytes de memoria, un dispositivo que habría colapsado bajo el peso del método tradicional.

Las implicaciones de este trabajo se extienden más allá del simple ahorro de electricidad. Para industrias como la gobernanza energética, donde leyes estrictas dictan que los datos deben permanecer locales y bajo el control de la organización, esta tecnología hace que la IA avanzada sea factible. Demuestra que la inteligencia artificial de alto rendimiento no requiere centros de datos masivos y centralizados. En cambio, puede realizarse localmente en hardware cotidiano, haciendo que la tecnología sea accesible para instituciones más pequeñas y asegurando que los datos sensibles nunca abandonen las instalaciones. Los investigadores describen su enfoque como "IA Verde" (Green AI), enfatizando que la eficiencia debe ser un objetivo primario junto con la inteligencia. Al hacer que el proceso sea preciso, explicable y demostrable, han creado un camino para que las organizaciones auditen su propio cumplimiento y gestionen sus sistemas de energía con herramientas que son tanto potentes como sostenibles. El estudio confirma que, con el diseño adecuado, podemos tener lo mejor de ambos mundos: la comprensión profunda de los grandes modelos de IA sin los enormes costos ambientales y de hardware que usualmente los acompañan.

Resumen Técnico: Arquitecturas RAG Locales Sostenibles para la Gobernanza Energética

Planteamiento del Problema
El artículo aborda la tensión entre las demandas computacionales de la Generación Aumentada por Recuperación (RAG) y las estrictas restricciones de la gobernanza energética y la soberanía de los datos. Los enfoques actuales de "IA Roja" de contextualización en el tiempo de indexación —donde cada fragmento de documento se resume frente al documento completo— dependen de la atención de auto-atención cuadrática y de cachés de clave-valor (KV) que crecen linealmente. Este patrón empuja los requisitos de memoria más allá de los 8 GB de VRAM de las GPU de consumo, obligando a las organizaciones a depender de centros de datos en la nube. Sin embargo, los reguladores y auditores de energía a menudo no pueden externalizar el procesamiento de datos debido a las reglas de soberanía de datos (por ejemplo, GDPR, Ley de IA) y la necesidad de una auditoría de cumplimiento defendible y local (on-premises). El desafío es lograr un RAG de alta precisión en hardware de consumo sin los costos de memoria y energía cuadráticos de la contextualización de documentos completos.

Metodología
Los autores proponen una arquitectura de "IA Verde" centrada en la Contextualización por Rebanadas de Documento y un Agente de Enrutamiento de Dos Niveles, diseñada para ejecutarse enteramente en una sola estación de trabajo con una GPU de 8 GB.

Contextualización por Rebanadas de Documento: En lugar de alimentar el documento completo al resumidor para cada fragmento, el sistema define una "rebanada" (slice) acotada de fragmentos vecinos alrededor de un fragmento objetivo $c_i$ . El tamaño de la rebanada se determina mediante un radio de contexto $k$ . Para manejar los límites del documento, la implementación recorta la rebanada, asegurando que el fragmento objetivo permanezca central en la ventana de contexto. Esto acota la longitud del prompt a un tamaño fijo independientemente de la longitud total del documento, evitando que el caché KV exceda la VRAM física.
Agente de Enrutamiento de Dos Niveles: Un agente de enrutamiento determina el radio óptimo $k$ $k$ para cada fragmento antes de que ocurra cualquier resumen, utilizando el mismo modelo de lenguaje pequeño (SLM) que realiza la sumarización.
- Puerta Determinista (Nivel 1): Una puerta basada en expresiones regulares identifica "fragmentos de tablas" (tablas serializadas o pies de foto) y les asigna un radio fijo ( $k=2$ ) sin invocar al modelo.
- Router SLM (Nivel 2): Para los fragmentos que no son tablas, el agente realiza un paso hacia adelante (forward pass) de un solo token de un modelo de 4 mil millones de parámetros (Gemma 3 4B-it-qat). El modelo decide si un fragmento es "autodescriptivo" (por ejemplo, resúmenes, conclusiones, referencias) y no requiere contexto ( $k=0$ , saltándose la sumarización) o si "necesita vecinos" ( $k=2$ ).
Ejecución del Pipeline: El pipeline se ejecuta secuencialmente en una sola GPU para evitar el intercambio de memoria (memory swapping):
- Enrutamiento y Sumarización: El router asigna radios; el resumidor genera resúmenes enriquecidos con contexto para los fragmentos donde $k > 0$ .
- Incrustación e Indexación: El texto enriquecido se incrusta usando nomic-embed-text-v1.5 y se indexa en LanceDB.
- Recuperación: Un sistema de recuperación híbrida (BM25 + búsqueda de vectores densos) reclasifica los resultados usando ColBERTv2.

Contribuciones Clave

Formalización de Rebanadas Acotadas: El artículo proporciona una definición formal de rebanadas de documentos acotadas y con recorte de límites, y un modelo de complejidad que demuestra que este enfoque reduce el trabajo de atención en el tiempo de indexación de $O(n^3)$ (documento completo) a $O(n)$ (rebanada acotada), donde $n$ es el número de fragmentos.
Política de Enrutamiento por Fragmento: Introduce un mecanismo de enrutamiento ligero que selecciona dinámicamente las ventanas de contexto, saltándose la sumarización para fragmentos autodescriptivos por completo. Esto reduce el número de llamadas al resumidor y los tokens totales del prompt.
Protocolo de Medición de IA Verde: El estudio implementa un protocolo riguroso de contabilidad energética utilizando CodeCarbon, rastreando la potencia de la GPU, CPU y memoria para generar libros contables de energía por ejecución y estimaciones de emisiones de carbono, asegurando la reproducibilidad.
Viabilidad Local: Demuestra que un pipeline de RAG de alta fidelidad puede operar dentro del entorno de memoria de 8 GB de una GPU de una laptop de consumo (RTX 4060), un requisito crítico para la gobernanza energética local.

Resultados
Evaluado en 25 artículos científicos (382 fragmentos, 250 preguntas de múltiples saltos) y cuatro documentos de políticas de la Comisión Europea:

Precisión: El pipeline con enrutamiento logró un Recall@20 de 0.952, estadísticamente indistinguible de la línea base de documento completo (0.954) y superior al radio estático $k=3$ (0.945). También alcanzó el MRR@20 (Rango Recíproco Medio) y el MAR@20 (Rango Medio Average) más altos.
Eficiencia:
- Energía: El pipeline con enrutamiento redujo la energía de generación rastreada en un 87.6% (de 106.7 Wh a 13.2 Wh) y las emisiones de CO2 en un 87.0% (de 21.8 g a 2.8 g) en comparación con la línea base de documento completo.
- Tiempo: El tiempo de generación se redujo en un 84.1% (de 54:54 a 8:45).
- Memoria: El enfoque mantuvo el caché KV dentro del límite de 8 GB, mientras que la línea base de documento completo requería una ventana de 30,000 tokens que causaría paginación de memoria en el mismo hardware.
Comportamiento del Enrutamiento: El router asignó un radio medio de 1.37, saltándose el 32% de los fragmentos (principalmente resúmenes, referencias y agradecimientos) y asignando $k=2$ al resto. Esto confirmó que no todos los fragmentos requieren el contexto de todo el documento.
Robustez de Dominio Cruzado: En los documentos de política de la Comisión Europea, una variante de radio fijo ( $k=3$ ) mantuvo el rendimiento dentro de 0.6 puntos de la línea base, ahorrando un 71.8% de energía.

Significancia y Reivindicaciones
El artículo afirma ofrecer una vía PEP-AI (Precisa, Explicable, Probable) para la auditoría de cumplimiento descentralizada. Al acotar el contexto y las decisiones de enrutamiento, la arquitectura permite:

Métricas Reproducibles: El rendimiento se mide contra estándares de oro con pruebas de significancia estadística.
Decisiones Inspeccionables: Cada decisión de enrutamiento se registra con su evidencia (probabilidades logarítmicas), lo que permite pistas de auditoría.
Energía Verificable: Los libros contables de energía por ejecución proporcionan un registro demostrable de la huella de carbono del proceso de IA.

Los autores aseguran que este enfoque permite a los organismos de gobernanza energética ejecutar sistemas de RAG sofisticados y defendibles en hardware de consumo local, adhiriéndose a las regulaciones de soberanía de datos sin sacrificar la precisión de la contextualización de documentos completos. El trabajo posiciona la contextualización por enrutamiento y rebanadas como una elección de Pareto dominante, ofreciendo una precisión casi óptima con costos drásticamente reducidos de tiempo y energía.

Más como este