ConfLayers: Adaptive Confidence-based Layer Skipping for Self-Speculative Decoding

1. El Problema

La inferencia de Grandes Modelos de Lenguaje (LLMs) es computacionalmente costosa y presenta alta latencia debido a la naturaleza autoregresiva de la generación de tokens. Las técnicas existentes de decodificación especulativa (que utilizan un modelo "borrador" ligero para predecir múltiples tokens y un modelo "objetivo" para verificarlos) han demostrado ser efectivas, pero presentan desafíos prácticos:

• Modelos separados: Los métodos tradicionales requieren entrenar y mantener un modelo de borrador separado, lo que aumenta el costo de almacenamiento y la complejidad de despliegue.
• Desajuste de distribución: Si el modelo de borrador no se alinea bien con el modelo objetivo, la tasa de aceptación de tokens disminuye, limitando la aceleración.
• Limitaciones de la Decodificación Especulativa Auto (SSD): Aunque la SSD reutiliza el mismo modelo (usando capas internas como borrador), los enfoques actuales para seleccionar qué capas saltar son deficientes:
  • Los métodos basados en políticas de aprendizaje son costosos de entrenar y tienen poca generalización.
  • Los métodos basados en heurísticas fijas son simples pero carecen de adaptabilidad, resultando en compensaciones subóptimas entre velocidad y calidad.

2. Metodología: ConfLayers

El artículo propone ConfLayers, un marco de trabajo "plug-and-play" (conectar y usar) y libre de entrenamiento para la decodificación especulativa auto. Su núcleo es un mecanismo dinámico de salto de capas basado en la confianza.

El proceso se divide en tres etapas principales (ilustradas en la Figura 2 del artículo):

A. Cálculo de Confianza por Capa (Sección 3.1)

En lugar de aprender una política, ConfLayers estima la confianza de cada capa intermedia durante la generación:

1. Se extraen los estados ocultos de los módulos de Atención y FFNN (Red Neuronal Feed-Forward) de cada capa.
2. Estos estados se proyectan a través de la cabeza del modelo de lenguaje (LM Head) compartida para obtener logits.
3. Se calcula la entropía de Shannon de la distribución de probabilidad derivada de estos logits.
4. La puntuación de confianza se define como el complemento de la entropía normalizada:
   • Confianza alta (cerca de 1): Predicciones seguras y agudas.
   • Confianza baja (cerca de 0): Predicciones inciertas o uniformes.

B. Filtrado Adaptativo de Ventanas (Sección 3.2)

Para decidir qué capas saltar, el método no utiliza umbrales fijos, sino una ventana de comparación adaptativa:

• Normalización: Las puntuaciones de confianza se estandarizan (media cero, varianza unitaria).
• Gradiente Local: Se calcula el gradiente de segundo orden para medir la fluctuación local de la confianza.
• Tamaño de Ventana Dinámico: El tamaño de la ventana de vecinos para comparar la confianza de una capa se ajusta automáticamente:
  • En regiones estables (baja fluctuación), se usa una ventana pequeña para una evaluación fina.
  • En regiones volátiles (alta fluctuación) o en capas posteriores (que tienen abstracciones de alto nivel), se usa una ventana más grande para una agregación contextual.
• Selección: Una capa se marca para ser saltada si su confianza está por debajo de la media local menos un umbral de sensibilidad ($\lambda$).

C. Búsqueda Periódica por Intervalos (Sección 3.3)

El sistema no reevalúa las capas en cada token, sino que opera en intervalos:

1. Se inicia con un conjunto de capas no saltadas (inicialmente uniforme).
2. Se genera un lote de tokens candidatos y se verifica con el modelo completo.
3. Se acumula una puntuación basada en el número de tokens aceptados.
4. Al final de un intervalo de búsqueda, se evalúa si la configuración actual es óptima o si se debe iniciar una nueva ronda de búsqueda para refinar el conjunto de capas saltadas.

3. Contribuciones Clave

1. Mecanismo Libre de Entrenamiento: Propone un método para construir subredes de borrador en la decodificación especulativa auto sin necesidad de modelos auxiliares ni fine-tuning.
2. Algoritmo de Adaptación Iterativo: Diseña un algoritmo que equilibra la velocidad de decodificación y la tasa de aceptación de tokens mediante la selección de capas guiada por la confianza.
3. Evaluación Exhaustiva: Demuestra empíricamente que el enfoque mantiene la calidad de salida mientras acelera la inferencia en múltiples arquitecturas y conjuntos de datos, superando a las líneas base existentes.

4. Resultados Experimentales

El rendimiento se evaluó en modelos LLaMa-2 (13B, 70B) y LLaMa-3 (8B, 70B), así como en modelos especializados (CodeLLaMa-34B, Qwen2.5-Math-72B) sobre tareas de resumen, razonamiento matemático, traducción e instrucciones.

• Aceleración: ConfLayers logra una aceleración de hasta 1.4x en comparación con la generación autoregresiva estándar (vanilla).
  • Ejemplo: En LLaMa-3-70B para resumen (CNN-DM), alcanzó 1.38x, superando a SWIFT (1.26x) y DEL (0.89x).
• Comparación con Baselines:
  • Supera consistentemente a SWIFT (Xia et al., 2025) y DEL (Zarch et al., 2025).
  • A diferencia de DEL, que requiere fine-tuning y a veces no ofrece aceleración, ConfLayers funciona con cualquier modelo sin entrenamiento previo.
  • Aunque ConfLayers puede tener tasas de aceptación ($\alpha$) ligeramente inferiores a SWIFT en algunos casos, logra una mayor velocidad global porque maximiza el número absoluto de tokens aceptados y encuentra modelos de borrador más compactos más rápidamente.
• Calidad de Salida: La métrica Rouge-2 muestra una superposición alta con la generación estándar, confirmando que la calidad del texto no se degrada significativamente.
• Adaptabilidad Dinámica: El modelo puede usar un conjunto de capas optimizado para una tarea (ej. resumen) y aplicarlo a otras (ej. matemáticas o traducción) manteniendo una aceleración superior a 1.1x, demostrando robustez ante cambios de dominio.
• Estudio de Ablación: Se demostró que el uso de ventanas adaptativas es crucial; el uso de ventanas fijas (tamaño constante) resultó en un rendimiento inconsistente o incluso inferior a la generación estándar en modelos más pequeños.

5. Significado e Impacto

ConfLayers representa un avance significativo hacia la inferencia eficiente de LLMs al demostrar que las heurísticas simples pero bien diseñadas (basadas en la confianza interna del modelo) pueden ser más efectivas que métodos complejos basados en aprendizaje.

• Escalabilidad: Al eliminar la necesidad de modelos de borrador externos y entrenamiento, reduce drásticamente la huella de memoria y la complejidad de despliegue.
• Generalización: Su capacidad para adaptarse dinámicamente a diferentes tareas y tamaños de modelo sin reentrenamiento lo hace ideal para aplicaciones en tiempo real y entornos con recursos limitados.
• Paradigma de Diseño: Establece que la "confianza" intermedia es una señal fiable para la optimización de la arquitectura de inferencia, ofreciendo una vía práctica para acelerar la próxima generación de modelos de lenguaje.