Resumen Técnico: Pair-In, Pair-Out (PIPO) para LLMs Eficientes

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) modernos dependen cada vez más de cadenas de pensamiento (CoT) largas para tareas complejas como matemáticas y programación. Aunque este paradigma mejora la precisión, crea un cuello de botella significativo en la inferencia: la decodificación autoregresiva estándar emite solo un token por paso hacia adelante, lo que hace que el costo por token sea el factor dominante de latencia para trazas de razonamiento largas.

Las soluciones existentes abordan esto desde dos direcciones independientes:

• Lado de entrada: Los métodos de compresión latente (por ejemplo, CoLaR) fusionan múltiples tokens de entrada en una única representación continua para reducir la longitud de la secuencia.
• Lado de salida: La predicción de múltiples tokens (MTP) y la decodificación especulativa (por ejemplo, EAGLE, Medusa) intentan emitir múltiples tokens por paso. Sin embargo, estos métodos suelen requerir un paso de "verificador" costoso (un paso completo hacia adelante del backbone grande) para validar los tokens borradores, lo que a menudo anula las ganancias de eficiencia, especialmente en longitudes de contexto largas. Además, los métodos MTP no verificados corren el riesgo de propagar borradores poco fiables, degradando la precisión.

Actualmente, no existe un marco unificado que explote simultáneamente la compresión de entrada y la predicción de múltiples tokens de salida sin incurrir en el alto costo del verificador.

2. Metodología: Pair-In, Pair-Out (PIPO)

PIPO propone un marco unificado que trata la compresión latente y la predicción de múltiples tokens como operaciones de imagen especular alrededor del backbone del LLM.

2.1 Arquitectura Central

El marco opera sobre pares de tokens en lugar de tokens individuales:

• Pair-In (Compresión): Un compresor MLP ligero pliega dos embeddings de tokens de entrada consecutivos ($x_{2i}, x_{2i+1}$) en una única representación latente ($z_i$). Esto reduce a la mitad la longitud efectiva de entrada.
  $$z_i = f_\theta([x_{2i}; x_{2i+1}])$$
  El compresor se inicializa de modo que $f_\theta([a; b]) \approx a + b$ para mantener la distribución de preentrenamiento del backbone.
• Pair-Out (Predicción): El backbone procesa el estado latente comprimido y produce un estado oculto ($h^b_i$).
  1. Token del Backbone: La cabeza LM estándar predice el siguiente token del backbone ($x_{2i+2}$).
  2. Token Borrador: Una cabeza de Predicción de Múltiples Tokens (MTP), condicionada por el estado oculto del backbone y el token del backbone predicho, predice un token borrador adicional ($x_{2i+3}$).
  3. Cabeza de Confianza: Un MLP ligero predice una puntuación de confianza ($c_i$) para el token borrador.
     $$c_i = g_\phi([h^b_i; h^d_i])$$
  • Lógica de Aceptación: Si $c_i \geq \tau_c$, el token borrador se acepta y el siguiente par de entrada consiste en dos tokens recién generados. Si se rechaza, el borrador se reemplaza por un token de relleno ($x_{pad}$), y el siguiente par de entrada es $(x_{2i+2}, x_{pad})$. Esto asegura que la interfaz permanezca consistente independientemente de la aceptación.

2.2 Estrategia de Entrenamiento

PIPO utiliza un proceso de entrenamiento en dos etapas para cerrar la brecha entre el entrenamiento y la inferencia:

1. Ajuste Fino Supervisado (SFT):

   • El modelo se entrena con un objetivo de predicción del siguiente par utilizando la pérdida de Entropía Cruzada (CE) tanto para los tokens del backbone como para los borradores.
   • Una cabeza de confianza se inicia utilizando la pérdida de Entropía Cruzada Binaria (BCE), alineando la puntuación de confianza con la probabilidad del token borrador de verdad fundamental.
   • Relleno Aleatorio: Durante el entrenamiento, una fracción de las posiciones de borrador se reemplaza aleatoriamente con tokens de relleno para exponer al modelo a escenarios de rechazo.

2. Destilación en Política (OPD):

   • PIPO aborda el desplazamiento de distribución entre entrenamiento e inferencia desplegando respuestas utilizando la política actual del estudiante.
   • Insight Clave: El papel del "profesor" en OPD es funcionalmente idéntico al del "verificador" en la decodificación especulativa. Ambos juzgan la coherencia de un borrador frente a una distribución de referencia más fuerte.
   • Supervisión Gratuita: La probabilidad de aceptación para la cabeza de confianza se deriva directamente del cálculo de la pérdida OPD: $y_c = \min(p_t(x)/p_s(x), 1)$, donde $p_t$ es la probabilidad del profesor (backbone) y $p_s$ es la probabilidad del estudiante (borrador).
   • Esto permite entrenar la cabeza de confianza con el criterio de muestreo por rechazo como etiqueta sin requerir pasos hacia adelante adicionales ni un modelo verificador separado.

3. Contribuciones Clave

• Marco Unificado: PIPO unifica la compresión latente del lado de entrada y la predicción de múltiples tokens del lado de salida en una interfaz simétrica "Pair-In/Pair-Out", reduciendo efectivamente a la mitad la longitud de entrada y duplicando la salida por paso.
• Eliminación del Verificador: Al observar que el profesor OPD y el verificador especulativo cumplen el mismo papel, PIPO entrena una cabeza de confianza ligera utilizando la relación de muestreo por rechazo como una etiqueta gratuita. Esto reemplaza el costoso paso de verificación del backbone por paso con un único paso hacia adelante del MLP.
• Eficiencia y Precisión: El método logra aceleraciones significativas en el Tiempo hasta el Primer Token (TTFT) y el Tiempo por Token de Salida (TPOT), mientras mejora la precisión pass@4 en benchmarks de razonamiento complejo.

4. Resultados Experimentales

Los autores evaluaron PIPO en los backbones Qwen3.5-4B y Qwen3.5-9B a través de cuatro benchmarks: AIME 2025, GPQA-Diamond, LiveCodeBench v6 y LongBench v2.

• Precisión: PIPO + OPD logró las puntuaciones pass@4 más altas entre todos los métodos.
  • En Qwen3.5-9B, PIPO mejoró pass@4 en +7.15 puntos sobre la decodificación autoregresiva regular.
  • En Qwen3.5-4B, la mejora fue de +3.83 puntos sobre la mejor línea base.
  • La ventaja se amplió con presupuestos de contexto más largos (hasta 32K ranuras), ya que PIPO ajusta más cadenas de razonamiento completas dentro del mismo presupuesto.
• Eficiencia:
  • TTFT: Hasta 2.64× de aceleración (por ejemplo, a una longitud de entrada de 128K) debido a la fase de prellenado comprimida.
  • TPOT: Hasta 2.07× de aceleración porque se emiten dos tokens por paso hacia adelante del backbone.
• Estudios de Ablación:
  • Los compresores no lineales son esenciales; los compresores lineales causaron una caída significativa en el rendimiento.
  • Inicializar el compresor como una suma aditiva ($a+b$) es crítico para la estabilidad.
  • La cabeza de confianza rechaza efectivamente los borradores poco fiables, superando las líneas base de rechazo aleatorio y encontrando un "punto óptimo" (umbral $\tau_c \approx 0.95$) que maximiza pass@4.

5. Significado y Afirmaciones

El artículo afirma que PIPO representa un cambio en el enfoque de la decodificación eficiente de LLM:

1. Simetría: Demuestra que la compresión de entrada y la expansión de salida no son estrategias competitivas, sino operaciones complementarias de imagen especular que pueden combinarse.
2. Amortización de Costos: Amortiza con éxito el costo de la verificación. En lugar de pagar un alto costo de inferencia (paso completo del backbone) por cada paso, la lógica de verificación se destila en una señal de entrenamiento ligera (la cabeza de confianza), convirtiendo un costo de inferencia recurrente en una señal de entrenamiento única.
3. Practicidad: El marco depende principalmente de componentes listos para usar (cabezas MTP preentrenadas, backbones estándar) y requiere solo módulos adicionales pequeños (compresor y cabeza de confianza), lo que lo hace factible de desplegar en LLMs fuertes existentes.

Los autores señalan limitaciones, incluido el enfoque en el procesamiento por pares (en lugar de factores de compresión más grandes), la restricción a modelos solo de texto y la evaluación principalmente en tareas con respuestas verificables (matemáticas/código) en lugar de generación abierta. Sin embargo, argumentan que PIPO ofrece un camino robusto para reducir los costos de inferencia del razonamiento de cadenas largas sin sacrificar la fiabilidad.