🤖 AI

When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction

Este artículo presenta ESTP, un marco ligero que mejora la predicción de la longitud de la salida de los LLM al combinar la entropía de los tokens con puntuaciones de importancia semántica basadas en la atención para permitir una programación más eficiente y consciente de la longitud, reduiendo la sobrecarga computacional.

Autores originales: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, los grandes modelos de lenguaje actúan como potentes motores que generan texto, respondiendo preguntas y resolviendo problemas al predecir la siguiente palabra en una oración. Para ejecutar estos motores de manera eficiente en el hardware de las computadoras, los ingenieros suelen agrupar muchas solicitudes, de forma muy similar a un autobús que transporta a múltiples pasajeros. Sin embargo, surge una ineficiencia persistente porque el hardware debe tratar cada solicitud en un grupo como si fuera la más larga, rellenando las respuestas más cortas con espacios vacíos para que encajen. Este espacio desperdiciado ralentiza todo el sistema, particularmente cuando se le pide al modelo que realice razonamientos complejos o genere respuestas largas y detalladas. Para solucionar esto, los investigadores han buscado durante mucho tiempo una forma de predecir exactamente qué tan larga será una respuesta antes de que se escriba por completo, permitiendo que el sistema asigne los recursos con precisión. Durante algún tiempo, el método principal para realizar estas predicciones se basó en medir la incertidumbre del modelo, un concepto conocido como entropía, que esencialmente mide qué tan inseguro está el modelo sobre su próxima palabra.

Un nuevo estudio desafía la suposición de que la incertidumbre por sí sola es la mejor guía para esta tarea. Los investigadores descubrieron que, si bien la incertidencia es útil, esta pasa por alto una capa crucial de significado. En el proceso de generación de texto, el modelo produce una vasta gama de señales: algunas indican confusión o vacilación, mientras que otras resaltan los hechos, números o instrucciones más importantes. Los métodos anteriores, que se centraban fuertemente en la incertidumbre, a menudo trataban las palabras transicionales e inciertas como las más críticas, mientras que inadvertidamente restaban importancia a los tokens factuales y sólidos que realmente determinan la longitud y la estructura de la respuesta. Esto es como intentar navegar por una ciudad prestando atención únicamente a las intersecciones con niebla e ignorando las señales de tránsito claras; el resultado es una predicción que suele ser errónea porque pierde el contenido central.

Para resolver esto, el equipo introdujo un nuevo marco llamado ESTP, que combina la medida de la incertidumbre con una mirada directa a la importancia de cada palabra. En lugar de solo preguntar qué tan inseguro está el modelo, el nuevo método también pregunta cuánta atención está prestando el modelo a una palabra específica. En la arquitectura de estos modelos, la atención actúa como un reflector, mostrando qué palabras están impulsando actualmente el proceso de pensamiento. Los investigadores descubrieron que las palabras que poseen el mayor peso semántico —como entidades clave, números específicos e instrucciones centrales— a menudo reciben una alta atención incluso cuando el modelo está muy seguro de ellas. Al fusionar esta importancia basada en la atención con la señal tradicional de incertidumbre, el nuevo sistema crea una visión equilibrada del texto. Aprende a valorar la información crítica que define la longitud de la respuesta, al tiempo que reconoce las partes inciertas que señalan la necesidad de mayor elaboración.

Los investigadores probaron este enfoque en una variedad de tareas desafiantes, incluyendo el razonamiento matemático complejo y escenarios de muestreo dinámico, utilizando varios modelos de lenguaje de gran tamaño diferentes. Descubrieron que su método combinado predecía la longitud de la salida de manera más precisa que las mejores técnicas anteriores. En muchos casos, la tasa de error disminuyó significativamente, particularmente en las tareas de razonamiento complejo donde los métodos anteriores tenían dificultades. El estudio mostró que una parte sustancial de los tokens que anteriormente eran sobrevalorados por el sistema antiguo eran en realidad palabras de relleno de bajo valor, mientras que muchos de los tokens subvalorados eran precisamente los hechos que dictaban la longitud final. Al corregir este desalineamiento, el nuevo sistema proporcionó una señal mucho más clara al hardware de la computadora.

Cuando se integra en un sistema completo diseñado para gestionar estas solicitudes de IA, la mejora se traduce en beneficios tangibles en el mundo real. El sistema pudo programar las tareas de manera más eficiente, reduciendo la cantidad de espacio vacío desperdiciado que tenía que ser llenado con relleno. Esto condujo a un aumento notable en la velocidad con la que el hardware puede procesar las solicitudes y a una disminución en el tiempo necesario para completar los trabajos. El método logró estas ganancias sin requerir memoria adicional ni ralentizar el modelo, debido a que reutilizó las señales internas que el modelo ya estaba generando. Los resultados sugieren que, para que los sistemas de IA sean verdaderamente eficientes, deben mirar más allá de las simples medidas de incertidumbre y aprender a reconocer la importancia semántica de las palabras que están procesando. Este cambio permite que la tecnología maneje el razonamiento complejo y de formato largo con un nivel de precisión que antes era inalcanzable, allanando el camino para servicios de IA más rápidos y confiables.

Resumen Técnico: Cuando la entropía no es suficiente: Recuperando la semántica perdida en la predicción de la longitud de salida de los LLM

Planteamiento del problema

El servicio eficiente de Modelos de Lenguaje Extensos (LLM) se ve frecuentemente obstaculizado por el "efecto barril", donde las secuencias más cortas en un lote se rellenan (padding) para igualar la secuencia más larga, desperdiciando recursos computacionales y degradando el rendimiento (throughput). Si bien el escalonamiento consciente de la longitud puede mitigar esto mediante la predicción anticipada de las longitudes de salida, los métodos de predicción existentes enfrentan limitaciones significativas.

Los enfoques actuales de vanguardia, como el Agrupamiento de Tokens Guiado por Entropía (EGTP), dependen principalmente de la entropía por token para determinar la importancia. Sin embargo, este artículo identifica un punto ciego sistemático: la entropía mide la incertidumbre de la generación en lugar de la importancia semántica. En consecuencia, los tokens con alto valor semántico (por ejemplo, entidades clave, restricciones e instrucciones) suelen exhibir una baja entropía (alta confianza) y son subponderados. Por el contrario, las palabras de transición o de relleno con alta entropía son sobreamplificadas. Este desalineamiento conduce a la pérdida de señales semánticas críticas, reduciendo la fiabilidad de las predicciones de longitud, particularmente en escenarios de razonamiento complejo y de Aprendizaje por Refuerzo (RL) dinámico.

Metodología: Marco de trabajo ESTP

Los autores proponen ESTP (Agrupamiento de Tokens de Entropía y Semántica), un marco de trabajo ligero diseñado para recuperar la semántica perdida sin introducir una sobrecarga computacional significativa. El método opera en tres etapas principales:

Modelado de Importancia Semántica Basado en la Atención:
En lugar de depender únicamente de la entropía, ESTP calcula un peso semántico ( $S_j$ ) para cada token $j$ promediando los valores de atención recibidos de todos los demás tokens válidos en la última capa del LLM. Esto aprovecha la observación de que los tokens con alta atención suelen correlacionarse con la importancia semántica.
$S_j = \frac{1}{N} \sum_{i=1}^{N} A_{ij}$
donde $A_{ij}$ es el peso de atención del token $i$ al token $j$ .
Fusión de Pesos Conjuntos de Semántica y Entropía:
El marco combina la puntuación semántica ( $S_i$ ) con la entropía del token ( $H_i$ ) para producir una puntuación de importancia unificada ( $T_i$ ):
$T_i = \lambda_1 S_i + \lambda_2 H_i$
Estas puntuaciones se normalizan mediante una función softmax para generar los pesos de agrupación finales ( $e_i$ ), donde se introduce un coeficiente de temperatura $\alpha$ para ajustar el grado de concentración de la distribución:
$e_i = \frac{\exp(T_i)}{\sum_{j=1}^{n}\exp(T_j)}$
Esta fusión permite al modelo equilibrar las señales de incertidumbre con el contenido semántico.
Regresión de Distribución de Etiquetas Suaves (Soft-Label):
Para manejar la naturaleza de cola pesada de las distribuciones de longitud de salida, ESTP emplea una cabeza de predicción que trata la predicción de longitud como un problema de distribución. Las longitudes objetivo se discretizan en contenedores (bins), y se genera una distribución de probabilidad suave. El modelo se optimiza utilizando una función de pérdida combinada de Entropía Cruzada (para la estabilidad de la clasificación) y Error Cuadrático Medio (para la regresión precisa), lo que le permite aprender tanto la forma de la distribución como la expectativa exacta de la longitud.

Crucialmente, ESTP reutiliza los estados ocultos y los pesos de atención generados durante la fase estándar de prellenado (prefill) del LLM, añadiendo una sobrecarga de VRAM y latencia de inferencia insignificante.

Contribuciones Clave

Verificación Empírica del Desalineamiento: El artículo proporciona evidencia cuantitativa de que la entropía y la importancia semántica suelen estar desalineadas. En un estudio de diagnóstico, se encontró que más del 20% de los tokens en el grupo del 40% superior de alta entropía tenían una baja importancia semántica, mientras que una proporción similar de tokens de baja entropía portaban un alto valor semántico.
El Marco de Trabajo ESTP: Un novedoso y ligero mecanismo de agrupación que fusiona la entropía con puntuaciones semánticas basadas en la atención. Recupera las señales semánticas que los métodos de solo entropía omiten, logrando esto con un costo mínimo al reutilizar las activaciones internas del LLM.
Evaluación Exhaustiva: Experimentos extensos a través de cuatro backbones de LLM (Qwen2.5-3B/7B, Llama3.2-1B/3B) y tres escenarios desafiantes (Secuencia Larga, Razonamiento Complejo, Muestreo de RL Dinámico) en el benchmark ForeLen.

Resultados Experimentales

Precisión de Predicción: En el benchmark ForeLen, ESTP supera consistentemente a los modelos de referencia (baselines), incluyendo EGTP, TRAIL y modelos auxiliares externos (SSJF-Reg/MC). Logra el Error Absoluto Medio (MAE) más bajo en todos los modelos, reduciendo el MAE promedio en más de 9 puntos respecto a EGTP, con mejoras que superan los 20 puntos en escenarios de RL.
Robustez: ESTP demuestra un Error Cuadrático Medio (RMSE) más bajo, lo que indica un mejor manejo de las desviaciones grandes de predicción.
Eficiencia del Sistema: Al integrarse con un programador (scheduler) consciente de la longitud en pruebas de sistema de extremo a extremo (usando vLLM), ESTP mejora significativamente el rendimiento y reduce la relación de relleno (padding ratio). Por ejemplo, en escenarios de Razonamiento, la relación de relleno cayó de 1.18 (EGTP) a 0.37 (ESTP), y se redujo el Tiempo de Finalización de Tarea (JCT) promedio.
Estudios de Ablación: Los experimentos confirman que tanto las características de entropía como las semánticas son esenciales; el uso de cualquiera de ellas por separado produce resultados inferiores en comparación con el enfoque conjunto.

Significancia y Limitaciones

El artículo posiciona a ESTP como un componente práctico y efectivo para los sistemas de servicio de LLM conscientes de la longitud. Al abordar el punto ciego semántico de los métodos de solo entropía, permite una asignación de recursos y un escalonamiento más precisos, mejorando directamente la utilización del hardware y el rendimiento.

Los autores reconocen limitaciones específicas:

El proxy basado en la atención para la importancia semántica es correlacional en lugar de causal.
El método depende de las activaciones internas, lo que limita su aplicabilidad inmediata a modelos de código cerrado donde estos estados son inaccesibles.
Se sugiere que el trabajo futuro explore la atribución causal, la adaptación de caja negra y la fusión de múltiples características para una mayor robustez en diversos escenarios.