Resumen Técnico: Hacia una Inteligencia en Dispositivos Sostenible

Declaración del Problema

La rápida proliferación de los Modelos de Lenguaje de Gran Escala (LLM) ha creado una tensión entre la intensidad computacional requerida para su entrenamiento e inferencia y la realidad de los recursos limitados de los dispositivos periféricos (smartphones, puertas de enlace IoT, sistemas embebidos). Si bien la Generación Aumentada por Recuperación (RAG) ha emergido como un paradigma dominante para fundamentar las salidas de los LLM en conocimiento externo y mitigar las alucinaciones, los flujos de trabajo estándar de RAG asumen recursos a escala de la nube (grandes índices de vectores, búsqueda respaldada por GPU, memoria generosa). El despliegue de RAG en dispositivos periféricos introduce un complejo compromiso multidimensional entre precisión, latencia, huella de memoria, consumo de energía y emisiones de carbono.

Actualmente, la investigación en IA en dispositivos, RAG y Green AI (sostenibilidad) existe en tres silos mayoritariamente separados. Las revisiones existentes abordan pares de estos dominios (por ejemplo, IA en dispositivos + RAG, o Green AI + compresión de modelos) pero no logran integrar los tres en una perspectiva de diseño de sistema unificada. En consecuencia, las decisiones de diseño —como el ancho de bits de cuantización, la profundidad de recuperación y la selección de hardware— se toman a menudo de forma aislada, ignorando sus interdependencias en la sostenibilidad general y el rendimiento del sistema. Existe una falta de marcos de evaluación unificados que midan explícitamente la energía y el carbono junto con métricas tradicionales como la precisión y la latencia.

Metodología

Este artículo emplea un enfoque de revisión estructurada de la literatura inspirado en las directrices PRISMA 2020.

• Estrategia de Búsqueda: Se realizaron búsquedas sistemáticas en cinco bases de datos (IEEE Xplore, ACM Digital Library, Scopus, Google Scholar, arXiv) utilizando consultas booleanas que combinan términos de tres dominios: IA en dispositivos (p. ej., "small language model", "NPU"), RAG (p. ej., "retrieval-augmented generation") y Green AI (p. ej., "energy-efficient inference", "carbon footprint").
• Criterios de Selección: La revisión se centró en artículos revisados por pares, artículos de conferencias y preimpresiones bien citadas desde 2017 hasta agosto de 2026. Se incluyeron artículos que abordaran al menos uno de los tres dominios y presentaran métodos, sistemas o benchmarks novedosos. Se excluyó el servicio de LLM exclusivamente en la nube sin consideraciones de borde o sostenibilidad.
• Corpus: La búsqueda inicial arrojó 1,247 artículos. Tras la deduplicación y el cribado (título/resumen y texto completo), se seleccionaron 108 artículos de la búsqueda sistemática. Se identificaron otros 34 artículos mediante el rastreo de citas hacia atrás y hacia adelante. El corpus final analizado en la encuesta totaliza 142 artículos.
• Clasificación: La literatura se clasificó en una taxonomía jerárquica de nueve categorías que abarcan tres pilares:
  1. IA en Dispositivos: Modelos fundacionales, Modelos de Lenguaje Pequeños (SLM), Cuantización/Compresión, Hardware NPU.
  2. RAG: Fundamentos centrales de RAG, Sistemas RAG en dispositivos.
  3. Green AI: Medición de sostenibilidad, Evaluación/Benchmarks, Aplicaciones/Casos de estudio.

Contribuciones Clave

1. Síntesis Unificada de Tres Pilares

El artículo proporciona la primera revisión que cubre conjuntamente la inferencia de IA en dispositivos, la generación aumentada por recuperación y la Green AI/sostenibilidad como un único espacio de diseño. Analiza las interdependencias entre estos dominios, tales como cómo la cuantización afecta el rendimiento de la NPU y la energía, y cómo las estrategias de recuperación impactan tanto en la calidad de la respuesta como en la carga computacional.

2. Taxonomía Sistemática de 142 Artículos

Los autores clasifican la literatura revisada en nueve categorías específicas, mapeando la evolución del campo desde las arquitecturas Transformer fundacionales hasta el hardware especializado NPU, flujos de trabajo RAG eficientes y estrategias de inferencia conscientes del carbono.

3. El Marco de Evaluación ALEMC

Una contribución central es la propuesta de ALEMC (Accuracy, Latency, Energy, Memory, Carbon - Precisión, Latencia, Energía, Memoria, Carbono), un marco de evaluación unificado que extiende las métricas de rendimiento convencionales.

• Métricas: Define métricas formales para Precisión (media armónica de la puntuación de la tarea y la fidelidad), Latencia (Tiempo al Primer Token y Extremo a Extremo), Energía (Julios por consulta), Memoria (RSS pico) y Carbono (gCO2e por consulta).
• Puntuación: Introduce una puntuación compuesta de media geométrica ponderada para permitir la comparación holística de las configuraciones del sistema, asegurando que un mal desempeño en una dimensión (p. ej., alta energía) no pueda ser enmascarado por un fuerte desempeño en otra.
• Aplicación: El marco se aplica para sintetizar principios de diseño y comparar diferentes patrones de despliegue.

4. Patrones de Integración para RAG Sostenible en Dispositivos

El artículo sintetiza tres patrones de diseño distintos que ocupan diferentes puntos en el espacio de compromiso entre precisión-eficiencia-sostenibilidad:

• Patrón 1: SLM Cuantizado + Recuperador Ligero + NPU: Una configuración totalmente offline en un solo dispositivo que utiliza SLMs cuantizados en 4 bits (p. ej., Phi-3-mini, Gemma-2B) y recuperación basada en grafos o ligera (p. ej., MiniRAG) para minimizar la memoria y la energía.
• Patrón 2: Híbrido Especulativo Borde-Nube: Una arquitectura con compuerta de confianza donde un SLM local redacta respuestas y un modelo grande basado en la nube verifica solo las consultas de baja confianza. Esto equilibra la privacidad/eficiencia local con la precisión de nivel de nube.
• Patrón 3: RAG Adaptativo Consciente del Carbono: Un sistema dinámico que ajusta los parámetros de tiempo de ejecución (DVFS, rango del adaptador LoRA, profundidad de recuperación) basándose en la intensidad de carbono de la red eléctrica en tiempo real y el estado de la batería del dispositivo para optimizar la sostenibilidad.

5. Identificación de Desafíos Abiertos y Hoja de Ruta

La encuesta identifica seis desafíos críticos abiertos:

1. Brechas de Hardware: Las NPU actuales están optimizadas para CNN y carecen de soporte nativo para secuencias de longitud variable, operaciones dispersas y grafos dinámicos requeridos por LLM/RAG.
2. Benchmarks Estandarizados: Falta de benchmarks de energía reproducibles para RAG en dispositivos, lo que dificulta las comparaciones entre estudios.
3. Selección de Modelos Consciente del Ciclo de Vida: La necesidad de considerar los costos de carbono de entrenamiento y reentrenamiento, no solo la energía de inferencia, al seleccionar modelos.
4. RAG Federada: Desafíos en la agregación segura de índices y la privacidad diferencial para el intercambio colaborativo de conocimiento en dispositivos.
5. RAG Multimodal en el Borde: La dificultad de desplegar recuperación multimodal (texto, imagen, audio) dentro de presupuestos estrictos de memoria y energía en el borde.
6. Política y Regulación: La necesidad emergente de etiquetado de carbono estandarizado y reportes de energía para sistemas de IA.

Resultados y Observaciones Empíricas

El artículo no presenta un nuevo resultado experimental único, sino que sintetiza los hallazgos de los 142 artículos revisados e incluye un estudio empírico controlado (Sección 7.3) para validar el marco ALEMC.

• Viabilidad: La síntesis confirma que el RAG sostenible en dispositivos es técnicamente alcanzable. Los sistemas que utilizan SLM cuantizados en 4 bits (1–3 mil millones de parámetros) con recuperación ligera pueden operar dentro de 2–4 GB de memoria en NPUs móviles modernas, entregando respuestas en menos de 2 segundos.
• Ahorro de Energía: La inferencia en dispositivos puede reducir el consumo de energía entre 10 y 100 veces en comparación con la inferencia en la nube para modelos pequeños, principalmente al eliminar la transferencia de red y la sobrecarga de infraestructura (PUE). Sin embargo, esta ventaja disminuye para modelos más grandes o consultas de alta frecuencia donde el carbono embebido y la intensidad de la red local se vuelven dominantes.
• Compromisos (Trade-offs): El estudio empírico y la síntesis de la literatura demuestran rendimientos decrecientes pronunciados: pasar de un modelo de 1 billón de parámetros en 4 bits a un modelo de 7 billones en precisión completa puede mejorar la precisión solo un 3–5% mientras aumenta el consumo de energía en un orden de magnitud.
• Compresión de Contexto: Técnicas como SparseRAG y la Reducción Selectiva de Contenido pueden reducir la longitud del contexto entre un 30% y un 55% con una pérdida de precisión insignificante, reduciendo directamente el cómputo de prellenado (prefill) y la energía del caché KV.

Significancia y Reivindicaciones

El artículo afirma que su principal significancia radica en la síntesis de tres comunidades de investigación adyacentes en un marco coherente. Argumenta que el diseño de sistemas RAG sostenibles en dispositivos no puede lograrse optimizando un solo pilar (compresión, recuperación o sostenibilidad) de forma aislada.

• Cambio en el Discurso: El trabajo pretende cambiar la pregunta de investigación de "¿Podemos ejecutar RAG en un dispositivo?" (lo cual se ha respondido afirmativamente en gran medida) a "¿Podemos ejecutar RAG en un dispositivo de manera sostenible?".
• Perspectiva Unificada: Al exponer las interdependencias —como el hecho de que el ancho de bits de cuantización dicta la memoria disponible para los índices de recuperación, o cómo la profundidad de recuperación impacta el consumo de energía—, el artículo proporciona una base principios para el diseño de sistemas.
• Marco Accionable: El marco ALEMC y los patrones de integración identificados ofrecen a los profesionales una metodología concreta para navegar la frontera de Pareto multidimensional de precisión, latencia, energía, memoria y carbono.
• Direcciones Futuras: El artículo traza una hoja de ruta de investigación, haciendo un llamado a benchmarks de energía estandarizados, co-diseño de hardware NPU para LLM y el desarrollo de herramientas de selección de modelos conscientes del ciclo de vida para guiar al campo hacia una inteligencia de borde verdaderamente sostenible.