💬 NLP

Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices

El artículo presenta CORE, un método de compresión de prompts ligero y de dos etapas que elimina la necesidad de modelos de lenguaje pequeños auxiliares para mejorar significativamente la precisión, reducir el uso de memoria y acelerar la inferencia para la respuesta a preguntas con recuperación aumentada en dispositivos periféricos con recursos limitados.

Autores originales: Zihuai Xu, Ruofei Hou, Yang Xu, Hongli Xu, Yunming Liao, Ying Zhu

Publicado 2026-06-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zihuai Xu, Ruofei Hou, Yang Xu, Hongli Xu, Yunming Liao, Ying Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio. Tienes una pila enorme de periódicos viejos, diarios y cartas (el contexto recuperado) que podrían contener la respuesta a tu pregunta. Sin embargo, el 95% de esta pila es solo informes meteorológicos, anuncios y chismes que no tienen nada que ver con tu caso.

Si intentas leer toda la pila a un asistente muy inteligente pero ocupado (el Modelo de Lenguaje Grande o LLM), suceden dos cosas malas:

El asistente se abruma: Le toma demasiado tiempo leer toda la basura y podría confundirse con el ruido, perdiendo la pista real.
El asistente se queda sin espacio: Tu teléfono o dispositivo periférico (como un coche inteligente o un robot) no tiene suficiente memoria para contener toda la pila a la vez.

El problema con las soluciones actuales

Actualmente, para limpiar esta pila, la gente utiliza a un "mini-detective" (un Modelo de Lenguaje Pequeño o SLM) para leer los papeles y decirle al asistente principal qué conservar.

El inconveniente: Este mini-detective es pesado. Requiere mucha memoria y potencia de batería. Intentar ejecutar este mini-detective en un smartphone es como intentar cargar un refrigerador pesado en tu mochila; es demasiado lento y agota la batería instantáneamente.

La solución: CORE (Filtrado de contexto mediante refinamiento de entidades)

Los autores de este artículo proponen un nuevo método llamado CORE. En lugar de contratar a un mini-detective pesado, CORE utiliza un proceso ingenioso y ligero de dos pasos que funciona como un bibliotecario experto con una lupa.

Paso 1: El filtro de "¿Quién, Qué, Dónde?" (Filtrado de candidatos)

En lugar de leer cada palabra, CORE primero observa la pregunta para adivinar qué tipo de respuesta necesitas.

La analogía: Si preguntas, "¿Quién era el capitán?", CORE sabe que estás buscando una Persona. Si preguntas, "¿Cuándo sucedió?", sabe que estás buscando una Fecha.
La acción: Escanea rápidamente el texto para encontrar oraciones que contengan esos tipos específicos de palabras (como nombres o fechas). También encuentra oraciones que suenan muy similares a tu pregunta.
El resultado: Crea dos listas cortas:
1. El conjunto de respuestas: Oraciones que podrían contener la respuesta.
2. El conjunto de pistas: Oraciones que proporcionan el contexto o la evidencia para demostrar que la respuesta es correcta.
Por qué es genial: Este paso utiliza herramientas diminutas y ligeras (como una simple lupa) que caben fácilmente en un bolsillo, a diferencia del pesado refrigerador de los métodos antiguos.

Paso 2: El "Contraste" (Refinamiento de la evidencia)

Ahora, CORE tiene dos listas, pero aún podrían ser demasiado largas o contener algunas pistas falsas. Necesita limpiarlas más sin usar una computadora pesada.

Refinando las pistas: Imagina que las pistas son piezas de un rompecabezas. CORE las organiza para que no repitan la misma información. Si dos pistas dicen lo mismo, conserva la mejor y descarta la duplicada. Lo hace verificando si una nueva pista añade algo nuevo a la historia.
Podando las respuestas: CORE verifica si las oraciones de la "Respuesta" están realmente respaldadas por las oraciones de la "Pista". Si una oración de respuesta está lejos de las pistas que la respaldan, o si es solo una mención aleatoria de un nombre sin contexto, CORE la desecha. Conserva solo las respuestas que están "paradas junto a" su prueba.

Los resultados: Rápido, Ligero y Preciso

Los autores probaron CORE en dispositivos periféricos reales, como un NVIDIA Jetson (una computadora potente para robots/coches) y un teléfono Huawei.

Velocidad: CORE es increíblemente rápido. Mientras que otros métodos tardaban más de un minuto en limpiar un documento, CORE lo hizo en segundos.
Memoria: Utiliza una fracción minúscula de la memoria. Si otros métodos necesitaran el espacio de un disco duro entero, CORE cabe en una memoria USB.
Batería: En un smartphone, CORE ahorró el 95% de la energía comparado con el mejor método existente. Es como cambiar un camión que consume mucho combustible por un scooter eléctrico.
Precisión: A pesar de desechar tanto texto, la IA en realidad se volvió mejor respondiendo preguntas. Al eliminar el ruido, la IA se enfocó en la señal. En las pruebas, mejoró la precisión en más de un 30% en comparación con otros métodos de compresión.

Resumen

CORE es una forma inteligente y ligera de encoger documentos masivos para que puedan caber en dispositivos pequeños como teléfonos. No utiliza un "mini-IA" pesado para hacer el trabajo; en su lugar, utiliza reglas inteligentes sobre entidades (nombres, fechas, lugares) y relaciones para filtrar la basura. Esto hace que los asistentes de IA en dispositivos periféricos sean más rápidos, más precisos y mucho menos propensos a agotar tu batería.

Resumen Técnico: CORE – Compresión de Prompts Ligera para QA en Dispositivos Edge

Declaración del Problema
En los sistemas de Generación Aumentada por Recuperación (RAG) para la Respuesta a Preguntas (QA), los Modelos de Lenguaje Grande (LLMs) a menudo sufren el "problema del contexto largo". Los documentos recuperados contienen frecuentemente información redundante sustancial (que a menudo supera el 95% de ruido), lo que diluye la evidencia clave y puede degradar la precisión de la respuesta. Además, la complejidad cuadrática de los mecanismos de atención de auto-atención significa que los prompts largos aumentan significativamente la latencia de inferencia y el uso de memoria. Esto es particularmente crítico para los dispositivos edge (por ejemplo, teléfonos inteligentes, vehículos autónomos), donde los recursos computacionales y las ventanas de contexto están restringidos.

Los métodos de compresión de prompts existentes suelen depender de Pequeños Modelos de Lenguaje (SLMs) auxiliares para estimar la importancia de tokens o frases. Sin embargo, estos enfoques introducen una carga excesiva para el despliegue en el edge:

Sobrecarga de Memoria: Los SLMs (por ejemplo, modelos de 7B parámetros) requieren entre 14 y 24 GB de VRAM, superando con creces los 8–16 GB disponibles en las GPUs de consumo para dispositivos edge.
Latencia: El pre-llenado de los prompts por parte de los SLMs introduce retrasos que superan el minuto en dispositivos móviles, lo que los hace inadecuados para el QA en tiempo real.
Requisitos de Entrenamiento: Muchos métodos requieren un ajuste fino (fine-tuning) extensivo en grandes conjuntos de datos, lo cual es costoso en recursos e impracticable para escenarios de edge.

Metodología: CORE (Refinamiento de Contexto mediante filtrado consciente de Entidades)
Los autores proponen CORE, un marco de compresión de prompts ligero, de dos etapas y a nivel de frase, diseñado para operar sin SLMs auxiliares. CORE utiliza únicamente un clasificador de Reconocimiento de Entidades Nombradas (NER) ligero y un modelo de embeddings (un total de ~40 MB en memoria).

Etapa 1: Filtrado de Candidatos
- Construcción del Conjunto de Respuestas: CORE analiza la consulta del usuario para identificar "entidades de interés" (por ejemplo, fechas, ubicaciones, personas) comparando la consulta con un conjunto de consultas plantillas canónicas en un espacio de embeddings. Luego, filtra el contexto recuperado para construir un Conjunto de Respuestas ( $C_{ans}$ ), compuesto por oraciones que contienen al menos una de estas entidades identificadas.
- Construcción del Conjunto de Pistas: Simultáneamente, CORE construye un Conjunto de Pistas ( $C_{clue}$ ) filtrando las oraciones del contexto que exhiben una alta similitud semántica con la consulta del usuario, sirviendo como evidencia de puente.
Etapa 2: Refinamiento de la Evidencia
- Refinamiento de Pistas (Recuperación de Residuo Ortogonal): Para abordar la redundancia dentro del conjunto de pistas, CORE emplea una estrategia iterativa de descomposición de vectores ortogonales. Selecciona secuencialmente pistas que maximizan la alineación semántica con la parte residua (no explicada) de la consulta. Un coeficiente de penalización dinámico ( $\mu_t$ ) se calibra basado en qué tan bien una pista seleccionada conecta la consulta con las respuestas candidatas, asegurando una cobertura semántica diversa. El número óptimo de pistas ( $K$ ) se determina automáticamente utilizando el "método del codo" en la curva de utilidad.
- Poda de Respuestas (Métrica de Proximidad Espacial): Para filtrar el potencialmente grande Conjunto de Respuestas, CORE introduce una métrica basada en la proximidad espacial. Calcula la importancia de cada entidad en el conjunto de respuestas midiendo su distancia hacia las pistas de alta confianza. Las entidades situadas en la vecindad inmediata de las pistas relevantes reciben puntuaciones más altas. Las oraciones de respuesta se clasifican entonces por la suma de sus puntuaciones de entidad constituyentes y se podan para ajustarse al presupuesto estricto de tokens.

Contribuciones Clave

Arquitectura Libre de SLM: CORE elimina la necesidad de pesados SLMs auxiliares, reduciendo la sobrecarga de memoria a aproximadamente el 0.14% de un SLM estándar de 7B y permitiendo el despliegue en dispositivos edge con recursos limitados.
Refinamiento Sinérgico: El artículo introduce un mecanismo que entrelaza el refinamiento de pistas y respuestas. Utiliza una estrategia de residuo ortogonal para destilar pistas y una métrica de proximidad espacial para validar respuestas, asegurando que el contexto comprimido mantenga la coherencia lógica y las cadenas de razonamiento.
Implementación Optimizada para Edge: El marco está diseñado específicamente para baja latencia y eficiencia energética, aprovechando componentes ligeros (spaCy NER y embeddings de MiniLM) adecuados para hardware móvil y de edge.

Resultados Experimentales
Los autores evaluaron CORE en un NVIDIA Jetson AGX Orin (inferencia local) y un smartphone Huawei Nova (offloading edge-cloud) a través de seis conjuntos de datos de LongBench (por ejemplo, 2WikiMQA, HotpotQA, NarrativeQA) utilizando tres LLMs de 7B.

Precisión: Dentro de un presupuesto de 2000 tokens, CORE mejoró la precisión en al menos un 30.19% en comparación con las líneas base del estado del arte (LLMLingua, LLMLingua-2, LongLLMLingua). Notablemente, en el conjunto de datos 2WikiMQA con LLaMA2-7B-chat-4k, CORE superó a la línea base sin comprimir.
Eficiencia:
- Memoria: CORE redujo el uso de memoria en al menos un 50.47% en comparación con las líneas base, con un uso pico que oscila entre 0.7 GB y 1.7 GB.
- Latencia: CORE logró una reducción del 48.52% en la latencia de compresión en comparación con LLMLingua-2 y una aceleración de hasta el 98.99% en comparación con métodos que utilizan SLMs de 7B.
- Energía: En el smartphone Huawei Nova, CORE demostró una reducción del 95.74% en el consumo de energía en comparación con LLMLingua-2.
Robustez: CORE mantuvo un rendimiento superior incluso bajo restricciones severas de presupuesto de tokens (hasta 500 tokens), mientras que las líneas base sufrieron una degradación significativa.

Significancia y Reivindicaciones
El artículo afirma que CORE aborda el cuello de botella crítico de desplegar agentes de QA basados en RAG en dispositivos edge. Al eliminar la dependencia de pesados SLMs, CORE hace que la compresión de prompts sea factible para aplicaciones de QA en tiempo real, móviles e industriales de edge donde la memoria y la energía son escasas. Los autores enfatizan que su método no solo reduce los costos computacionales sino que también mejora la precisión de las respuestas al filtrar eficazmente el ruido y preservar las cadenas lógicas necesarias para el razonamiento complejo, mitigando así el fenómeno de "perdido en el medio" (lost in the middle) y las alucinaciones asociadas con contextos largos. El trabajo posiciona a CORE como una solución práctica y generalizable para la próxima generación de agentes de IA en el edge.