Resumen Técnico: RAG en Dispositivo Eficiente Energéticamente en una NPU Móvil

Planteamiento del Problema

La proliferación de los Modelos de Lenguaje de Gran Escala (LLM) ha creado una demanda de sistemas de IA en el dispositivo que preserven la privacidad, reduzcan la latencia y permitan la funcionalidad fuera de línea. La Generación Aumentada por Recuperación (RAG) es el paradigma dominante para fundamentar las salidas de los LLM en conocimiento externo, pero desplegar un flujo de trabajo RAG completo en dispositivos móviles sigue siendo un desafío. Un flujo de trabajo RAG completo implica múltiples etapas neuronales de computación intensiva: generación de embeddings, recuperación semántica, reordenación (reranking) mediante cross-encoder y generación autoregresiva de LLM. Estas etapas imponen colectivamente restricciones significativas de potencia y térmicas en plataformas móviles y de ordenadores portátiles, particularmente cuando se depende de la inferencia por CPU, lo cual es energéticamente prohibitivo para una operación sostenida. Si bien los NPUs (Unidades de Procesamiento Neuronal) dedicados se integran cada vez más en los SoCs para abordar esto, los trabajos previos se han centrado principalmente en la inferencia de un solo modelo (por ejemplo, el prellenado de LLM) en lugar de flujos de trabajo RAG multimodelo de extremo a extremo. Además, no se han cuantificado los ahorros de energía y las compensaciones de rendimiento de la descarga (offloading) de un flujo de trabajo RAG completo y de múltiples etapas a una NPU móvil.

Metodología

Los autores presentan un diseño de sistema y un estudio de benchmarking ejecutado en un portátil Dell XPS 13 equipado con un SoC Qualcomm Snapdragon X Elite, que cuenta con la NPU Hexagon (45 TOPS INT8).

Arquitectura del Sistema:
El sistema implementa un flujo de trabajo RAG de extremo a extremo que comprende dos flujos de trabajo distintos:

1. Flujo de Trabajo de Indexación: Transforma un corpus de documentos en un índice de vectores buscable. Implica el análisis y fragmentación de documentos (fragmentos de 1,000 caracteres con un solapamiento de 500 caracteres, limitados por los límites de contexto de la NPU), la generación de embeddings utilizando EmbeddingGemma 300M y la construcción del índice FAISS.
2. Flujo de Trabajo de Consulta: Procesa las consultas del usuario a través de la reescritura de consultas (LLM), recuperación híbrida (combinando SQLite FTS5 y FAISS), reordenación mediante cross-encoder usando Jina Reranker v2 y generación de respuestas usando Qwen3-4B-Instruct.

Detalles de Implementación:

• Backend de la NPU: Todos los componentes neuronales (embedding, reordenación, LLM) se compilan de antemano en grafos de computación estáticos y se ejecutan a través del SDK Qualcomm AI Runtime (QAIRT/QNN).
• Líneas Base (Baselines): Las mismas arquitecturas de modelos y la lógica del flujo de trabajo se comparan contra líneas base de CPU e GPU integrada (Adreno X1-85) utilizando llm.cpp con cuantización GGUF. El reordenador está fijado a la NPU en todas las configuraciones debido a un defecto de puntuación por lotes (batched-scoring) en el backend de OpenCL.
• Restricciones de Ingeniería: La implementación de la NPU requirió adaptaciones de ingeniería específicas, incluyendo un orden de carga de modelos estricto (el modelo más grande primero: LLM → Embedding → Reranker) para satisfacer los requisitos de asignación de memoria contigua y ventanas de contexto reducidas (4,096 tokens) en comparación con los despliegues en CPU/GPU.

Métricas de Evaluación:

• Rendimiento: Tiempo de ejecución (wall-clock time), rendimiento (tokens/s) y latencia (Tiempo al Primer Token, velocidad de decodificación).
• Energía: Consumo de potencia del sistema y consumo total de energía (Joules) medidos mediante telemetría de HWiNFO64 con granularidad de 500 ms.
• Calidad: La calidad de la respuesta se evaluó utilizando GPT-4.1 como juez de LLM sobre una rúbrica de 1 a 10, junto con el análisis de la tasa de fallos y la tasa de corrección.
• Cargas de Trabajo: Indexación en 10 informes SEC 10-K (9,324 fragmentos) y procesamiento de consultas en 120 consultas de los conjuntos de datos wiki-minirag y FinDER.

Contribuciones Clave

1. Primer Flujo de Trabajo RAG en NPU de Extremo a Extremo: Los autores implementan lo que se cree es el primer sistema donde las tres etapas de inferencia neuronal (generación de embedding, reordenación y generación de LLM) se ejecutan enteramente en una NPU móvil (Qualcomm Hexagon).
2. Benchmarking Exhaustivo: El estudio proporciona una comparación granular de los backends de NPU, CPU y GPU tanto para las cargas de trabajo de indexación como de consulta, midiendo no solo la velocidad sino también la potencia por componente y la energía total del sistema.
3. Análisis de Sostenibilidad Cuantitativo: El artículo cuantifica los beneficios energéticos "superlineales" de la descarga a la NPU, demostrando que las aceleraciones se traducen en ahorros de energía desproporcionados debido a la reducción del consumo de potencia promedio del sistema durante la ejecución.
4. Validación de Paridad de Calidad: A través de una evaluación rigurosa, el artículo establece que las restricciones impuestas por la NPU (ventanas de contexto más pequeñas, tamaños de fragmento específicos) no degradan materialmente la calidad de la respuesta en comparación con las líneas base de CPU o GPU.

Resultados

Rendimiento:

• Indexación: La NPU logró un rendimiento de embedding 9.1× mayor (3,325 vs 367 tokens/s) y una aceleración total del flujo de trabajo de 7.9× sobre la línea base de CPU.
• Procesamiento de Consultas: En el benchmark wiki-minirag, la NPU entregó un prellenado de LLM 18.1× más rápido y una latencia de consulta de extremo a extremo 4.0× menor en comparación con la CPU.
• Rendimiento de la GPU: Contrario a las expectativas para plataformas x86, la GPU integrada Adreno fue 1.7× más lenta que la línea base de CPU para esta carga de trabajo y consumió significativamente más energía.

Eficiencia Energética:

• Indexación: La NPU redujo la energía total del sistema en 12.3× en comparación con la CPU. Esto fue impulsado tanto por la velocidad como por una reducción del 35% en la potencia promedio del sistema (27.6 W vs 42.7 W) a medida que los clusters de la CPU operaban cerca del estado de inactividad.
• Procesamiento de Consultas: La NPU redujo la energía total del sistema en 4.0× en comparación con la CPU y en 6.5× en comparación con la GPU.
• Escalabilidad: Para una carga de trabajo diaria hipotética de 1,000 consultas, la NPU ahorra aproximadamente 260 Wh por día en comparación con la línea base de CPU.

Calidad de la Respuesta:

• Una evaluación del juez GPT-4.1 encontró que la calidad de la respuesta es equivalente en todos los backends. La NPU obtuvo una media de 9.32, comparada con 8.95 (CPU) y 9.03 (GPU).
• El 86.7% de las consultas recibieron puntuaciones idénticas en los tres backends. El análisis estadístico indicó que las diferencias menores en las puntuaciones estaban dominadas por el ruido del evaluador más que por brechas sustantivas en el rendimiento del backend.
• En la prueba especializada en el dominio FinDER, la NPU exhibió un comportamiento de rechazo conservador (negándose a responder cuando el contexto era insuficiente) similar a la CPU, aunque con una tasa de respuesta sustantiva menor debido a las restricciones más estrictas de la ventana de contexto.

Significado y Reivindicaciones

El artículo afirma demostrar que un RAG en dispositivo práctico y energéticamente eficiente es posible en NPUs móviles sin regresión de calidad.

• Inteligencia de Borde Verde: El estudio posiciona a la NPU de clase Hexagon como un camino sostenible para la IA en el borde, ofreciendo reducciones de energía masivas (hasta 12.3×) que hacen viable el RAG continuo en el dispositivo para equipos alimentados por batería.
• Realidad del Hardware: Los resultados desafían la suposición de que las GPUs integradas son siempre el acelerador óptimo para las cargas de trabajo de LLM en SoCs móviles, mostrando que para esta carga de trabajo específica de 4 billones de parámetros, la NPU supera tanto a la CPU como a la GPU en velocidad y eficiencia energética.
• Generalizabilidad: Aunque el estudio es específico para el Snapdragon X Elite, los autores esperan que estos hallazgos se generalicen a NPUs móviles comparables (Apple Neural Engine, Intel NPU, MediaTek APU) a medida que sus stacks de software y ecosistemas de modelos maduren.
• Perspectivas de Ingeniería: El artículo destaca las restricciones de ingeniería críticas y no triviales del despliegue en NPU (grafos estáticos, orden de asignación de memoria, límites de contexto) que deben abordarse para alcanzar estos beneficios.

Los autores concluyen que la aceleración por NPU permite un "camino sostenible hacia la inteligencia de borde verde", permitiendo sistemas RAG que preservan la privacidad y de baja latencia, que son energéticamente competitivos con los enfoques tradicionales basados en CPU.