FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution

1. El Problema: Sobrecarga Contextual y Costos en LLMs

Los Grandes Modelos de Lenguaje (LLMs) actuales dependen de contextos de entrada expansivos para lograr un rendimiento estelar. Sin embargo, esta verbosidad genera tres problemas críticos:

• Costos Económicos y Ambientales: El procesamiento de tokens redundantes infla los costos monetarios de API y la huella de carbono.
• Latencia: Aumenta el tiempo de inferencia.
• Ineficiencia Semántica: La comunicación humana es inherentemente redundante (aprox. 80% de redundancia estadística). Gran parte de los tokens en un prompt (artículos, palabras de función, frases de relleno) aportan poca información incremental una vez conocido el contexto local. Los LLMs, al procesar todo el texto con igual peso, desperdician recursos en tokens de baja utilidad.

2. Metodología: FRUGALPROMPT

El trabajo propone FRUGALPROMPT, un marco de compresión de prompts sin entrenamiento (training-free) que filtra selectivamente los tokens menos importantes basándose en su atribución semántica.

• Asignación de Saliencia (Token Attribution):

  • Utiliza dos métodos de atribución de última generación (SOTA) para calcular puntuaciones de saliencia para cada token en la secuencia de entrada:
    1. GlobEnc: Cuantifica la atribución global agregando análisis por capas mediante attention rollout y normas vectoriales.
    2. DecompX: Propaga representaciones de tokens descompuestas localmente para incorporar todos los componentes del modelo, incluidas las redes feed-forward no lineales.
  • Estos métodos superan a las simples ponderaciones de atención, capturando contribuciones semánticas más completas.

• Proceso de Filtrado (Frugalización):

  1. Puntuación: Se asigna una puntuación de saliencia ($s_i$) a cada token $t_i$.
  2. Clasificación: Los tokens se ordenan de mayor a menor puntuación.
  3. Selección Top-k: Se retiene solo el $k\%$ superior de tokens (ej. 80%, 60%, 50%).
  4. Reordenamiento: Los tokens seleccionados se reordenan según su posición original en el texto para preservar la coherencia temporal y sintáctica, descartando los tokens de baja utilidad (como "by the way" o artículos innecesarios).

• Fundamento Teórico:

  • Los autores derivan límites teóricos que demuestran la estabilidad de la eliminación de tokens.
  • Definen una función de efecto de eliminación que acota el daño en el rendimiento basándose en la saliencia de los tokens eliminados y sus interacciones de segundo orden.
  • El enfoque requiere solo un codificador preentrenado ligero (un modelo BERT de 110M parámetros), evitando el costo de entrenar modelos auxiliares grandes.

3. Contribuciones Clave

• Estrategia de "Frugalización" sin Entrenamiento: Un método novedoso que filtra tokens de baja importancia controlablemente mediante puntuaciones de saliencia de codificadores preentrenados.
• Compromiso Rendimiento-Eficiencia: Resultados empíricos que muestran que una reducción del 20% en los tokens (retención del 80%) mantiene el rendimiento en la mayoría de los modelos y tareas con una sobrecarga de parámetros negligible.
• Insights Comportamentales: Revela patrones asimétricos en el rendimiento según la tarea, sugiriendo efectos de "contaminación de tareas" en benchmarks y delineando qué tareas toleran la escasez contextual y cuáles no.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro tareas NLP (clasificación de sentimientos, resumen, preguntas de sentido común y razonamiento matemático) utilizando modelos de vanguardia (Llama-3 8B/70B, GPT-3.5, Gemini 2.0, o3-mini).

• Rendimiento por Tarea:
  • Tolerancia Alta: La clasificación de sentimientos y las preguntas de sentido común (QA) mantienen un rendimiento robusto incluso con reducciones significativas (hasta 50-60% de tokens retenidos).
  • Rendimiento Mixto: La generación de resúmenes muestra una degradación moderada, dependiendo del modelo y el método de atribución.
  • Rendimiento Crítico (Razonamiento): Las tareas de razonamiento matemático sufren una caída drástica (ej. pass@1 cae por debajo del 15% con retenciones bajas). Esto indica que el razonamiento depende de la integridad secuencial y de conectores lógicos/números que suelen ser filtrados.
• Métodos de Atribución:
  • GlobEnc tiende a funcionar mejor en clasificación y QA.
  • DecompX muestra superioridad en tareas de razonamiento, probablemente debido a su capacidad para capturar contribuciones a nivel de subpalabra y activaciones lineales.
• Contaminación de Tareas:
  • Se observó que tareas como la clasificación y la QA mantienen un alto rendimiento incluso al eliminar tokens aleatoriamente o los de menor puntuación ("Bottom-k"). Esto sugiere que los modelos podrían estar memorizando respuestas de los conjuntos de prueba (contaminación) en lugar de depender realmente del contexto completo.
  • En contraste, el razonamiento matemático cae abruptamente con filtros aleatorios, confirmando su dependencia genuina del contexto.
• Costo: La reducción de tokens ofrece ahorros significativos en costos de API, especialmente para modelos grandes y costosos como o3-mini, donde el ahorro es proporcionalmente mayor que la pérdida de rendimiento en tareas tolerantes.

5. Significado e Impacto

• Accesibilidad: Al reducir los costos de inferencia y la latencia, FRUGALPROMPT hace que el uso de LLMs sea más accesible para entornos con recursos limitados y reduce la huella de carbono.
• Cambio de Paradigma: Propone un enfoque centrado en los datos (optimización del prompt) en lugar de modificar los pesos del modelo o la arquitectura, lo cual es más eficiente y universal.
• Advertencia sobre Evaluación: El trabajo pone de manifiesto la necesidad de revisar los benchmarks actuales, ya que la alta tolerancia a la eliminación de tokens en ciertas tareas podría indicar que las evaluaciones actuales no miden verdaderamente la comprensión contextual, sino la memorización de datos de entrenamiento.
• Futuro: Abre la puerta a estrategias de "frugalización" adaptativa que ajusten dinámicamente la retención de tokens según la complejidad de la tarea y la confianza del modelo.

En resumen, FRUGALPROMPT demuestra que la "economía de tokens" es posible mediante la atribución semántica inteligente, permitiendo a los LLMs operar de manera más eficiente sin sacrificar significativamente el rendimiento en tareas que no requieren una cadena lógica ininterrumpida.