💻 computer science

Graph-Aware Reinforcement Learning for Reusable Prompt Compression in Black-Box LLMs

Este artículo propone un marco de aprendizaje por refuerzo de grafos consciente de la tarea que comprime contextos de razonamiento reutilizables en LLMs de caja negra mediante el entrenamiento de una política ligera para tomar decisiones extractivas de mantener o descartar sobre unidades de razonamiento con estructura de grafo, logrando ahorros significativos en el costo de entrada mientras se preserva la precisión del razonamiento.

Autores originales: Mehrshad Eskandarpour, Parmida Haddadnejad, Mohammadjavad Jannati

Publicado 2026-08-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mehrshad Eskandarpour, Parmida Haddadnejad, Mohammadjavad Jannati

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot brillante pero muy costoso a resolver acertijos complejos. No le das simplemente una pregunta, sino que primero tienes que entregarle un grueso manual de instrucciones. Este manual contiene las reglas del juego, algunos ejemplos de cómo resolver acertijos similares y una lista estricta de cómo escribir la respuesta final. En el mundo de la Inteligencia Artificial, estos "robots" se llaman Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés), y el "manual" es el prompt. El problema es que estos manuales se están volviendo enormes. Cada vez que le haces una nueva pregunta al robot, tienes que volver a enviarle el manual completo. Esto es lento, cuesta mucho dinero (porque el robot cobra por palabra) y llena la memoria a corto plazo del robot.

Los científicos han estado intentando encoger estos manuales sin perder las partes importantes. Algunos han intentado simplemente cortar el final del texto, mientras que otros han intentado resumirlo todo en unas pocas frases. Pero aquí está el truco: si cortas la frase equivocada, el robot podría confundirse y dar una respuesta incorrecta, incluso si el resto del texto parece estar bien. El objetivo es encontrar una forma de mantener el manual lo suficientemente corto para que sea barato y rápido, pero lo suficientemente detallado como para mantener al robot inteligente. Este artículo aborda exactamente ese problema, específicamente para situaciones en las que utilizas el mismo manual una y otra vez para muchas preguntas diferentes, como un profesor que utiliza el mismo plan de lección para toda una clase.

La Gran Idea del Artículo: El Robot "Bibliotecario Inteligente"

Los autores de este artículo, de la Universidad de Ciencia y Tecnología de Irán, proponen una nueva forma de encoger estos manuales reutilizables. Llaman a su método Aprendizaje por Refuerzo Consciente de Grafos (Graph-Aware Reinforcement Learning). Eso suena complicado, así que vamos a desglosarlo con una historia.

Imagina que tu manual reutilizable es una biblioteca gigante y desordenada de notas adhesivas. Algunas notas son solo consejos generales, otras son ejemplos específicos, algunas son fórmulas matemáticas y otras son reglas estrictas sobre cómo formatear la respuesta. En el pasado, la gente intentaba encoger la biblioteca simplemente tomando las primeras notas o eligiendo notas que sonaran similares a la pregunta. Pero eso es como intentar hacer una maleta agarrando solo los primeros artículos que ves; ¡podrías dejar atrás tu cepillo de dientes!

Los autores sugieren un enfoque más inteligente. Primero, tratan la biblioteca de notas adhesivas no como una simple lista, sino como una telaraña (o un grafo). En esta web, cada nota es un nodo, y los hilos que las conectan muestran cómo se relacionan las notas entre sí. Una nota de fórmula podría estar conectada a una nota de ejemplo que la utiliza. Una regla sobre "no números negativos" podría estar conectada a un problema matemático específico. Esta "telaraña" ayuda al sistema a entender que algunas notas son mejores amigas y deben permanecer juntas, mientras que otras son solo conocidas.

A continuación, entrenan a un Bibliotecario Inteligente utilizando una técnica llamada Aprendizaje por Refuerzo. Piensa en esto como un videojuego donde el trabajo del Bibliotecario es elegir qué notas adhesivas conservar y cuáles desechar. El Bibliotecario no conoce la respuesta a los acertijos dentro del cerebro del robot (porque el robot es una "caja negra", no podemos ver sus engranajes internos). En su lugar, el Bibliotecario aprende mediante ensayo y error. Elige un conjunto de notas, se las envía al robot y observa si el robot obtiene la respuesta correcta.

Si el robot acierta y el manual es corto, el Bibliotecario recibe una puntuación alta.
Si el robot se equivoca, el Bibliotecario recibe una penalización.
Si el Bibliotecario desecha una nota que era realmente crucial (como una regla oculta), recibe una gran penalización.

Con el tiempo, el Bibliotecario aprende exactamente qué notas son esenciales para que el robot tenga éxito y cuáles son solo relleno. Aprende a mantener intacta la "telaraña" de la lógica, incluso si eso significa eliminar muchas notas.

Lo Que Encontraron: Manuales Más Cortos, Mismo Robot Inteligente

Los investigadores probaron este "Bibliotecario Inteligente" en dos tipos de tareas muy difíciles: problemas matemáticos (como los que se encuentran en los conjuntos de datos GSM8K y MATH) y escritura de código informático (usando los conjuntos de datos MBPP y HumanEval). Compararon su método con otras formas de encoger los prompts, como simplemente cortar el texto a la mitad o elegir notas basadas en qué tan similares son a la pregunta.

Los resultados fueron bastante impresionantes. Los autores descubrieron que su método podía encoger el manual reutilizable en un 52.6%, lo que significa que eliminaron más de la mitad del texto. A pesar de haber recortado tanto, la capacidad del robot para resolver problemas solo cayó un ínfimo 1.0 punto porcentual. Para ponerlo en perspectiva, otros métodos que simplemente cortaban el texto de forma aleatoria o por similitud causaron que la precisión del robot cayera mucho más (a veces más de 8 puntos porcentuales).

Debido a que eliminaron tantas palabras, también ahorraron mucho dinero y tiempo. Estimaron que usar su manual comprimido ahorraría aproximadamente un 40.3% en costos de entrada. En el mundo real, esto significa que el robot respondería más rápido y sería más barato de ejecutar, especialmente si estás haciendo miles de preguntas usando el mismo plan de lección.

Por Qué Esto Importa (y Lo Que No Hace)

El artículo sugiere que este método es un gran paso adelante porque no intenta reescribir el manual o resumirlo en nuevas palabras. En su lugar, simplemente selecciona las mejores piezas existentes. Esto es importante porque mantiene las instrucciones claras y evita que el robot se confunda con resúmenes inventados.

Sin embargo, los autores advierten que esto no es una varita mágica para todas las situaciones. Su método funciona mejor cuando tienes un manual reutilizable que usas para muchas preguntas diferentes. Si estás haciendo una pregunta única con un contexto particular, el tiempo que toma entrenar al "Bibliotecario Inteligente" podría no valer la pena por los ahorros obtenidos. Además, el método depende de que el manual esté dividido primero en "notas adhesivas" (unidades de razonamiento) claras; si las notas son desordenadas desde el principio, el Bibliotecario podría tener dificultades.

Al final, el artículo sugiere que el futuro de la IA eficiente no se trata solo de hacer los modelos más grandes o más rápidos, sino de ser más inteligentes sobre qué les damos de comer. Al tratar los prompts como una red conectada de ideas en lugar de una simple lista de palabras, podemos mantener a nuestros asistentes de IA agudos, rápidos y asequibles sin perder la magia que los hace funcionar.

Resumen Técnico: Aprendizaje por Refuerzo Consciente de Grafos para la Compresión de Prompts Reutilizables en LLMs de Caja Negra

Declaración del Problema

Los Modelos de Lenguaje Grande (LLMs) dependen cada vez más de contextos de razonamiento largos y reutilizables —que comprenden instrucciones, ejemplos resueltos, restricciones, fórmulas y reglas de formato de salida— para realizar tareas complejas como el razonamiento matemático y la generación de código. Si bien estos contextos mejoran el rendimiento, su uso repetido en numerosas consultas de usuarios incurre en costos significativos en tokens de entrada, latencia de inferencia y uso de la ventana de contexto.

Los métodos de compresión existentes enfrentan limitaciones críticas en entornos de LLM de caja negra (por ejemplo, APIs comerciales):

Truncamiento y Resumen: Estos a menudo eliminan información lógicamente necesaria o reescriben el contenido, con el riesgo de provocar alucinaciones y pérdida de interpretabilidad.
Dependencia de Señales Internas: Muchos métodos dependen de gradientes, logits o puntuaciones de atención, que son inaccesibles en modelos de código cerrado.
Nivel de Token vs. Nivel de Unidad: La compresión a nivel de token puede romper ecuaciones, sintaxis de código o dependencias lógicas.
Falta de Conciencia de la Tarea: Los enfoques basados en similitud pueden retener unidades semánticamente relevantes pero lógicamente redundantes, mientras descartan restricciones esenciales.

El desafío central es formular un marco de compresión extractiva y consciente de la tarea que opere estrictamente como una caja negra, preservando la información funcional necesaria para la corrección mientras se minimiza el recuento de tokens, sin acceso a los parámetros internos del modelo.

Metodología

Los autores proponen un marco de Aprendizaje por Refuerzo (RL) consciente de grafos utilizando la Optimización de Política Próxima (PPO). El método trata el contexto de razonamiento reutilizable como un grafo y aprende una política para tomar decisiones discretas de "mantener o descartar" sobre las unidades de razonamiento.

1. Formulación del Problema

Compresión a Nivel de Plantilla: El sistema optimiza un contexto de razonamiento fijo ( $C$ ) que se empareja con diversas consultas específicas de la tarea ( $x$ ). El objetivo es aprender un contexto comprimido $C'(z)$ que sea fijo para el despliegue, en lugar de comprimir por cada consulta.
Entorno de Caja Negra: El LLM objetivo se trata como un entorno fijo $F$ . El compresor observa solo los pares de entrada-salida y recibe recompensas a nivel de tarea; no se utilizan señales internas.
Segmentación a Nivel de Unidad: El contexto se segmenta en unidades semánticamente completas (por ejemplo, ejemplos específicos, restricciones, fórmulas) en lugar de tokens para preservar la integridad sintáctica y lógica.

2. Representación Estructurada en Grafo

El contexto de razonamiento reutilizable se modela como un grafo $G_C = (V_C, E_C, W_C)$ :

Nodos: Representan unidades de razonamiento.
Aristas: Codifican cuatro tipos de relaciones: similitud semántica, proximidad posicional, relaciones de tipo de unidad y dependencias explícitas.
Características de los Nodos: Cada unidad se incrusta mediante características locales y características conscientes de la distribución de la tarea (similitud promedio/máxima con la distribución de consultas de entrenamiento) para asegurar que la política aprenda utilidad general en lugar de relevancia específica de la consulta.

3. Política y Optimización

Red de Política: Un codificador de Red de Atención de Grafos (GAT) procesa el grafo para generar representaciones de unidades contextualizadas. Una cabeza de política emite una probabilidad de mantenimiento para cada unidad.
Espacio de Acción: Una máscara binaria ( $z \in \{0, 1\}^M$ ) que determina qué unidades se retienen. Las unidades obligatorias (por ejemplo, instrucciones principales, delimitadores de salida) se fuerzan para permanecer.
Función de Recompensa: La recompensa equilibra cuatro objetivos:
1. Corrección: Rendimiento de la tarea (por ejemplo, coincidencia de respuesta exacta, paso de pruebas unitarias) en un lote de consultas.
2. Compresión: La proporción de tokens eliminados.
3. Control de Degradación: Una penalización por pérdida de precisión que exceda un umbral $\epsilon$ .
4. Coherencia Estructural: Una penalización ( $\Omega$ ) por selecciones fragmentadas donde unidades fuertemente conectadas se mantienen o descartan de forma inconsistente.
Algoritmo: Se utiliza la Optimización de Política Próxima (PPO) para estabilizar el entrenamiento contra las recompensas dispersas y ruidosas típicas de las evaluaciones de LLM de caja negra.

4. Despliegue

Durante el despliegue, la política estocástica se reemplaza por una selección codiciosa determinista basada en las probabilidades de mantenimiento aprendidas y las longitudes de las unidades. El contexto comprimido resultante se almacena en caché y se reutiliza para todas las consultas futuras, recuperando el costo de entrenamiento offline mediante el ahorro de inferencia repetida.

Contribuciones Clave

Formulación de RL Consciente de la Tarea: Un marco que formula la compresión de contexto de razonamiento reutilizable como un problema de RL de caja negra y consciente de la tarea, optimizando para la corrección posterior en lugar de solo la reducción de tokens, extendiendo el trabajo previo al enfocarse específicamente en plantillas reutilizables y dependencias estructuradas en grafos.
Representación Basada en Grafos: Introducción de un modelo de grafo que captura relaciones semánticas, posicionales, de tipo y de dependencia entre unidades de razonamiento para prevenir una compresión estructuralmente fragmentada.
Política de Extracción PPO: Una política de compresión extractiva discreta que aprende decisiones de mantener o descartar sin reescribir el contenido y sin requerir acceso a señales internas, asegurando la interpretabilidad y la compatibilidad con la API.
Evaluación Exhaustiva: Benchmarking extenso en razonamiento matemático (GSM8K, MATH) y generación de código (MBPP, HumanEval) demostrando un fuerte equilibrio entre eficiencia y precisión.
Análisis de Componentes: Estudios de ablación detallados que validan la necesidad del modelado de grafos, las recompensas basadas en la corrección y la optimización de PPO.

Resultados Experimentales

Los experimentos se realizaron en GSM8K, MATH, MBPP y HumanEval utilizando GPT-4o-mini como el modelo objetivo principal, con pruebas de transferencia entre modelos en Claude 3.5 Sonnet y Llama-3.1-70B-Instruct.

Eficiencia de Compresión: El método propuesto logró una tasa de compresión del 52.6% en contextos de razonamiento reutilizables.
Ahorro de Costos: Esto resultó en una reducción del 40.3% en los costos de tokens de entrada estimado y reducciones significativas en la latencia.
Preservación de la Precisión: La degradación de la precisión se limitó a 1.0 punto porcentual en relación con la línea base de contexto completo, superando significativamente a las líneas base como el truncamiento estático (pérdida de 8.4 pp) y la selección basada en similitud (5.2 pp de pérdida).
Robustez: El método demostró una estabilidad superior a través de varios presupuestos de compresión (hasta el 25% de retención) en comparación con los baselines heurísticos y otros basados en RL.
Transferencia entre Modelos: Al aplicarse a modelos no vistos sin ajuste fino, el contexto comprimido mantuvo un alto rendimiento, con pérdidas de precisión de 1.8 pp (Claude) y 2.7 pp (Llama), lo que indica que la política aprendida captura patrones de razonamiento generales.

Significancia y Reivindicaciones

El artículo argumenta que la compresión de prompts efectiva para aplicaciones intensivas en razonamiento debe priorizar la necesidad funcional sobre la mera reducción de tokens. Los autores afirman que:

El modelado consciente de grafos es esencial para preservar las dependencias lógicas entre instrucciones, ejemplos y restricciones que las métricas de similitud simples pasan por alto.
El feedback a nivel de tarea (corrección) es una señal de recompensa superior a la similitud de salida o la perplejidad, ya que alinea directamente la compresión con el objetivo de resolver la tarea.
La compatibilidad de caja negra es alcanzable sin sacrificar el rendimiento, lo que hace que este enfoque sea práctico para sistemas de API comerciales donde las señales internas no están disponibles.
La optimización del contexto reutilizable ofrece una ventaja económica distinta: aunque el entrenamiento requiere llamadas offline de caja negra, el contexto comprimido resultante proporciona ahorros de costos acumulativos al reutilizarse en muchas consultas, lo que lo hace ideal para herramientas educativas, asistentes de codificación y sistemas de soporte técnico.

El trabajo concluye que, si bien la compresión introduce riesgos (por ejemplo, eliminar restricciones ocultas), el marco propuesto los mitiga mediante la regularización estructural y el control de la degradación, ofreciendo un camino práctico para reducir los costos de inferencia manteniendo la calidad del razonamiento.