Resumen Técnico: CAVEWOMAN – Cómo se comportan los Grandes Modelos de Lenguaje bajo la Compresión de Entrada y Salida Lingüística

Planteamiento del Problema

Los costos de inferencia para los Grandes Modelos de Lenguaje (LLM) escalan tanto con el conteo de tokens de entrada como de salida, siendo los tokens de salida típicamente un 4 a 8 veces más caros que los de entrada. Aunque existen métodos de compresión para reducir tanto el prompt (entrada) como la respuesta (salida), estos se evalúan tradicionalmente de forma aislada utilizando una única métrica: la precisión de la tarea ante un recuento de tokens reducido.

Este artículo identifica dos fallas críticas en los protocolos de evaluación existentes:

1. Falla al medir el costo realizado: Un prompt más corto no reduce necesariamente el costo total de inferencia si el modelo compensa generando una respuesta más larga.
2. Colapso de precisión binaria: Las métricas de precisión estándar colapsan las generaciones en resultados binarios, fallando en distinguir entre una respuesta comprimida que se alinea con el razonamiento sin restricciones del modelo y una que diverge de este pero sigue siendo "correcta".

Metodología: El Protocolo CAVEWOMAN

Los autores introducen CAVEWOMAN, un protocolo de evaluación de dos canales diseñado para calificar cada generación en tres ejes: precisión de la tarea, costo realizado por ítem y acuerdo con el texto de referencia contra la propia generación sin restricciones del modelo.

Diseño Experimental

• Modelos: Se evaluaron ocho modelos, incluyendo modelos de pesos abiertos (Qwen2.5-VL-7B, Qwen3.5-9B, DeepSeek-R1-Distill-Qwen-7B, Gemma-4-E4B) y modelos de API (GPT-4o, GPT-5.4, Claude Haiku 4.5, Claude Sonnet 4.6).
• Conjuntos de Datos: Cinco benchmarks que cubren cuatro tipos de tareas: GSM8K (matemáticas), BoolQ (booleano), ARC-Easy (ciencia de opción múltiple), CommonsenseQA (sentido común de opción múltiple) y MMLU-STEM (STEM de opción múltiple).
• Niveles de Compresión: Se aplicaron cinco niveles de reducción lingüística ($L_0$ a $L_4$) utilizando un filtro determinista de Partes de la Oración (POS):
  • $L_0$: Línea base sin restricciones.
  • $L_1$: Telegráfico (elimina palabras de clase cerrada como determinantes, preposiciones, conjunciones).
  • $L_2$: Solo palabras clave (sustantivos, verbos, números cardinales).
  • $L_3$: Esqueleto de sintagmas nominales (sustantivos y números cardinales).
  • $L_4$: Presupuesto de 15 tokens.
• Dos Condiciones:
  • Condición A (Compresión de Entrada): El prompt del usuario es filtrado mediante el filtro POS antes de que el modelo lo vea.
  • Condición B (Restricción de Salida): El prompt permanece intacto, pero el prompt del sistema instruye al modelo a generar una respuesta en el registro reducido correspondiente.

Métricas de Evaluación

1. Precisión de la Tarea: Respuestas extraídas mediante regex comparadas contra la verdad fundamental (ground truth).
2. Costo Realizado: Calculado como $C = n_{in} \cdot p_{in} + n_{out} \cdot p_{out}$, midiendo el costo real de tokens incurrido.
3. Acuerdo con el Texto de Referencia: Medido mediante la implicación de Inferencia Lingüística Natural (NLI) bidireccional contra la generación sin restricciones ($L_0$) del propio modelo para el mismo ítem. Esto se complementa con 11 medidas semánticas adicionales.
4. Tabla de Disociación: Una matriz de 2x2 que cruza la corrección de la tarea con el acuerdo del texto de referencia para identificar casos donde las respuestas son correctas pero semánticamente divergentes de la línea base sin restricciones (Celda C2).

Hallazgos Clave

1. Asimetría de Costo entre Canales

• Compresión de Salida (Condición B): Reduce con éxito el costo realizado en la mayoría de los modelos de API (reducción de 1.4–2.4× por modelo, hasta 3× en el mejor de los casos) y en todos los cuatro modelos de pesos abiertos. Esto se debe a que la restricción limita directamente los costosos tokens de salida.
• Compresión de Entrada (Condición A): Resulta en una "pérdida estricta en ambos sentidos" (strict lose-lose). Aumenta el costo neto (aproximadamente 1.15× en promedio, hasta 1.8× en conjuntos de datos específicos, y 2.7× bajo compresión profunda) porque los modelos compensan el prompt despojado generando respuestas más largas. Dado que los tokens de salida tienen un precio mayor, los ahorros en los tokens de entrada se ven superados por el costo de la expansión de la salida.
• Mecanismo: La compresión de entrada desencadena una "expansión de salida compensatoria", donde el modelo intenta reconstruir el contexto faltante, lo que genera costos más altos incluso cuando la precisión colapsa en niveles de reducción profundos.

2. Desacoplamiento de la Precisión y el Acuerdo con el Texto de Referencia

Bajo la compresión de salida, surge una divergencia significativa entre la corrección de la tarea y la traza de razonamiento interno del modelo:

• Divergencia de Texto Superficial: En modelos que no son de razonamiento, el 51.9% de las generaciones en el nivel telegráfico ($L_1$) son correctas, pero su texto superficial ya no implica la generación sin restricciones ($L_0$) del modelo.
• Robustez: Esta divergencia persiste incluso al controlar la longitud (re-calificando las generaciones $L_0$ truncadas para que coincidan con la longitud de $L_1$) y se mantiene a través de múltiples métricas semánticas y jueces.
• Interpretación: El modelo puede llegar a la respuesta correcta a través de un camino de razonamiento o una formulación superficial diferente cuando está restringido, lo que significa que la "corrección" de la respuesta no garantiza la preservación de la traza de razonamiento original.

3. Robustez Variable entre Modelos

• La robustez a la compresión de salida (la relación entre la precisión bajo restricción de salida y la precisión bajo restrición de entrada) varía ampliamente entre los modelos (un rango de 1.5× a 3.7×).
• Esta robustez no es predicha por el conteo de parámetros o la precisión de la línea base sin restricciones. Por ejemplo, el modelo de API con mayor precisión (GPT-5.4) fue uno de los menos robustos a las restricciones de salida, mientras que un modelo de pesos abiertos de 7B (Gemma-4-E4B) mostró la mayor robustez.

Significancia y Reivindicaciones

El artículo argumenta que la evaluación de un solo eje para la compresión es insuficiente. Los autores afirman:

1. El costo no puede inferirse de la reducción del prompt: El costo realizado depende de la interacción entre la reducción de la entrada y la expansión de la salida.
2. La precisión es condicional: La precisión observada depende de la fiabilidad de la extracción y del eje semántico específico utilizado para la evaluación.
3. Implicaciones de despliegue: Para despliegues que consumen únicamente la respuesta final, la compresión de salida es una estrategia viable de ahorro de costos. Sin embargo, para despliegues que requieren pistas de auditoría o transparencia de razonamiento (donde el texto generado también se consume), la compresión de salida introduce un riesgo significativo de divergencia semántica de la el razonamiento sin restricciones del modelo.
4. Protocolo de Evaluación: Los candidatos para el despliegue restringido deben clasificarse según su desempeño en el nivel de restricción específico que enfrentarán, en lugar que por su desempeño de línea base sin restricciones.

El estudio concluye que comprimir la inferencia de los LLM es un problema de dos canales donde la compresión de entrada y la de salida producen resultados económicos y semánticos fundamentalmente diferentes, lo que requiere protocolos de evaluación de múltiples métricas como CAVEWOMAN.