Resumen Técnico: MultiHashFormer

Planteamiento del Problema

Los modelos de lenguaje (LM) estándar dependen de matrices de incrustación (embeddings) aprendidas que escalan linealmente con el tamaño del vocabulario, lo que crea un "cuello de botella de vocabulario". Este escalado lineal bloquea a los modelos en capacidades de tokens fijas, dificultando su capacidad para adaptarse a nuevos domas o lenguajes sin aumentos significativos de parámetros. Si bien la investigación previa exploró el hashing de tokens para restringir la huella de parámetros, los modelos basados en hashing existentes (por ejemplo, Proformer, HashFormer) utilizan mapeos de muchos a uno. En estos sistemas, múltiples tokens comparten un único índice de hash. Aunque es eficiente en parámetros, este enfoque causa colisiones de tokens que impiden la recuperación determinista de tokens durante la generación autorregresiva. En consecuencia, los métodos de hashing previos se han visto restringidos a arquitecturas solo de codificador (encoder-only) y al entrenamiento discriminativo, lo que los hace inviables para modelos de lenguaje generativos causales (solo de decodificador/decoder-only).

Metodología

Los autores proponen MultiHashFormer, un marco diseñado para permitir la autorregresión basada en hashing mediante la eliminación de las colisiones de tokens a través de un enfoque de firma de múltiples identificadores. La arquitectura consta de tres módulos principales:

1. Codificador de Hash (Hash Encoder):

   • Indexación de Multi-Hash: En lugar de mapear un token a un único ID de hash, cada token se convierte en una "firma de hash" única que consiste en una secuencia corta de IDs de hash discretos generados por $H$ funciones de hash independientes (utilizando el algoritmo MurmurHash3). Por ejemplo, un token podría representarse como $[12, 40, 56]$. Este mapeo de múltiples IDs soporta teóricamente una vasta capacidad de vocabulario (por ejemplo, $B^H$ firmas únicas) con una huella de parámetros estrictamente sublineal.
   • Composición de Incrustación con Compuerta (Gated Compositional Embedding): Para manejar el hecho de que los cubos (buckets) de hash se comparten globalmente (causando potencialmente colisiones entre tokens semánticamente no relacionados), el modelo emplea una compuerta compositiva sensible al contexto. Este módulo comprime las incrustaciones de hash individuales en un vector latente denso y unificado. Utiliza una red de cuello de botella (bottleneck) de alimentación hacia adelante con normalización softmax para determinar la contribución de cada cubo, seguida de un adaptador lineal para proyectar la representación combinada en el espacio latente del núcleo (backbone).

2. Núcleo de Procesamiento de Secuencias (Sequence Processing Backbone):

   • Los vectores latentes comprimidos pasan a través de una pila estándar de capas de decodificador Transformer (basada en la arquitectura Qwen3) para generar representaciones contextualizadas.

3. Decodificador de Hash (Hash Decoder):

   • Predictor en Cascada: Para reconstruir el siguiente token, el modelo no predice un único ID de token. En su lugar, reconstruye autorregresivamente la firma de multi-ID del siguiente token. Esto se logra mediante un sistema iterativo estructurado de corrección de errores.
   • El decodificador inicia un bucle de predicción con el estado oculto final del núcleo y luego predice iterativamente cada coordenada de la firma de hash ($H_1, H_2, \dots, H_H$) de forma secuencial.
   • Recuperación de Incrustación Suave (Soft Embedding Retrieval): Para mantener la diferenciabilidad durante la cascada, el modelo computa una "incrustación de cubo suave" (el valor esperado de la matriz de incrustación ponderada por las probabilidades de logit) en lugar de índices discretos duros para los pasos intermedios.
   • Actualización de Estado: Un mezclador de cascada recursivo actualiza el estado interno concatenando el estado actual con la incrustación suave recuperada, dirigiendo la representación conjunta a través de una capa de cuello de botella para informar la predicción de la siguiente coordenada de hash.

4. Modelado de Probabilidad:

   • Entrenamiento: El modelo optimiza el producto de las probabilidades de las coordenadas independientes ($\prod P(H_i(w) | \cdot)$), permitiendo predicciones sobre combinaciones de coordenadas que pueden no mapear a entradas reales del vocabulario para simplificar la optimización.
   • Inferencia: Para asegurar una generación válida, el modelo excluye explícitamente las firmas no asignadas durante la inferencia, renormalizando la distribución de probabilidad estrictamente sobre el vocabulario real de tokens ($V_{actl}$).

Contribuciones Clave

• Primer LM Causal Basado en Hashing: MultiHashFormer es el primer marco que soporta el modelado de lenguaje causal utilizando hashing al prevenir las colisiones de tokens mediante la generación de firmas de multi-ID.
• Eficiencia de Parámetros y Rendimiento: El modelo supera consistentemente a los LMs Transformer estándar en 10 benchmarks a escalas de 100M, 1B y 3B de parámetros. Demuestra que desacoplar el vocabulario de la matriz de parámetros es más efectivo que simplemente añadir capas a los modelos estándar.
• Expansión de Vocabulario sin Parámetros: El marco permite una expansión fluida del vocabulario (por ejemplo, de 32K a 48K tokens) sin aumentar el recuento de parámetros ni requerir modificaciones estructurales. El modelo gestiona la expansión multilingüe registrando nuevas firmas virtuales únicas.
• Mejores Representaciones de Palabras Raras: El mecanismo de cubos compartidos mejora la representación de palabras raras, como lo evidencia la mayor correlación con anotaciones humanas en el conjunto de datos Card-660 en comparación con los baselines estándar.

Resultados

• Capacidades Principales: A las escalas de 1B y 3B, MultiHashFormer (específicamente la configuración H4B16K) supera a los baselines estándar en 9 de 11 tareas, incluyendo ganancias significativas en LAMBADA (modelado de lenguaje) y HellaSwag (lógica narrativa).
• Igualación de Parámetros: Cuando se compara con baselines con cantidades equivalentes de parámetros (o incluso baselines con capas adicionales para igualar el recuento total de parámetros), las variantes de MultiHashFormer logran un rendimiento superior en la mayoría de las tareas.
• Expansión de Vocabulario: En experimentos de preentrenamiento continuo expandiendo el vocabulario de 32K a 48K (añadiendo tokens de árabe, chino e hindi), MultiHashFormer mantuvo o mejoró el rendimiento en tareas multilingües sin los ~31 millones de parámetros adicionales requeridos por los baselines estándar para acomodar los nuevos tokens.
• Palabras Raras: MultiHashFormer mostró mayores correlaciones de Pearson y Spearman con las puntuaciones de similitud humana para pares de palabras raras en comparación con los modelos estándar, particularmente al analizar los estados ocultos de la penúltima capa del decodificador.

Significado y Reivindicaciones

El artículo afirma que MultiHashFormer logra sortear el tradicional cuello de botella del vocabulario para los LMs de tipo decodificador. Al reemplazar la matriz de incrustación lineal con una interfaz de hashing modular, el modelo logra una huella de parámetros estrictamente sublineal mientras escala la capacidad del vocabulario a límites teóricos (por ejemplo, cuatrillones de firmas). Los autores argumentan que este enfoque resuelve la ambigüedad de las colisiones de tokens en entornos generativos, una limitación que anteriormente confinaba el hashing a modelos solo de codificador. Además, el marco ofrece una solución práctica para la adaptación multilingüe, permitiendo que los modelos integren nuevos lenguajes y tokens sin los costos computacionales y de memoria asociados con la expansión de las matrices de incrustación. Los resultados sugieren que el sesgo inductivo proporcionado por el codificador y el decodificador de hash es robusto y proviene de la arquitectura misma, en lugar de la varianza del muestreo aleatorio.