The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles

Resumen Técnico: El Estudio de Pre-entrenamiento de Modelos Expanded-SPLADE en Títulos de Documentos Web

Enunciado del Problema
El pre-entrenamiento mediante Modelado de Lenguaje enmascarado (MLM) es un método de inicialización estándar para modelos de Recuperación de Información (IR) Neuronales. Sin embargo, investigaciones previas indican que los modelos pre-entrenados con MLM a menudo muestran una preparación limitada y problemas de aprendizaje por transferencia al ser ajustados finamente en modelos de Codificador Bi-Neuronal para tareas de recuperación. Específicamente, los objetivos del MLM (predicción intra-instancia) y la clasificación de IR (discriminación inter-instancia) no siempre están alineados. Si bien los modelos de Recuperación Dispersa Aprendida (LSR) como SPLADE utilizan la capa de MLM durante el ajuste fino para generar representaciones dispersas, la estrategia de pre-entrenamiento óptima para estos modelos, particularmente para los modelos Expanded-SPLADE (ESPLADE) que emplean vocabularios de salida personalizados y de alta dimensión, sigue siendo poco explorada. Este artículo investiga el impacto de diferentes conjuntos de datos de pre-entrenamiento e hiperparámetros en la eficacia y eficiencia de recuperación aguas abajo de los modelos ESPLADE.

Metodología
Los autores realizaron una serie de experimentos que involucraron el pre-entrenamiento de Modelos de Lenguaje enmascarados Expandidos (EMLM) y su posterior ajuste fino en modelos ESPLADE. El estudio utilizó títulos de documentos web internos como fuente de datos principal.

• Arquitectura del Modelo: El estudio emplea la arquitectura ESPLADE (Dudek et al., 2023), que reconstruye la capa totalmente conectada de salida del MLM para soportar un vocabulario personalizado y expandido (100K unigramas). Esto permite una mayor dimensionalidad que los vocabularios estándar de BERT.
• Configuraciones de Pre-entrenamiento: Los autores variaron dos factores principales:
  1. Conjuntos de Datos:
     • Solapamiento-Repetición (Overlap-Repeat): Pre-entrenado en 614M de títulos web derivados del conjunto de entrenamiento del ajuste fino (trainset-small), con patrones de enmascaramiento repetidos.
     • Independiente-Repetición (Indep-Repeat): Pre-entrenado en 614M registros de una colección interna distinta (79M títulos únicos), utilizando un vocabulario alineado con el conjunto de ajuste fino.
     • Independiente-Único (Indep-Uniq): Pre-entrenado en 614M títulos web únicos de la colección interna.
  2. Tasas de Aprendizaje y Pasos:
     • Tasa de Aprendizaje Baja (-lr-l): Entrenado durante 600K pasos.
     • Tasa de Aprendizaje Alta (-lr-h): Entrenado durante 2.9M pasos pero con puntos de control (checkpoints) en 600K pasos, resultando en una tasa de aprendizaje "efectiva" más alta en comparación con los modelos de tasa baja.
• Ajuste Fino y Evaluación: Los modelos fueron ajustados finamente en un registro de búsqueda que contenía clics de consultas-documentos utilizando pérdida negativa en el lote (in-batch negative loss) y regularización FLOPS. La evaluación se realizó en un conjunto de prueba retenido con poda estática opcional de vectores dispersos (términos de consulta y documento) basada en puntuaciones logit del MLM para simular restricciones estrictas de eficiencia.
• Métricas: La eficacia de recuperación se midió mediante MRR@10 y R@10. La eficiencia se aproximó utilizando una métrica FLOPS basada en el costo de recorrido de las listas de publicaciones. El estudio también analizó las propiedades estadísticas de los vectores logit del EMLM (por ejemplo, desviación estándar de la puntuación logit) y las distribuciones de la longitud de las listas de publicaciones.

Resultados Clave
La experimentación arrojó tres observaciones principales:

1. Impacto de los Datos de Pre-entrenamiento y la Tasa de Aprendizaje: Los modelos ajustados finamente que lograron la mayor eficacia de recuperación tanto en configuraciones sin podar como estrictamente podadas fueron predominantemente aquellos pre-entrenados en corpus generales e independientes (indep-) en lugar del corpus de ajuste fino (overlap-). Además, los modelos pre-entrenados con una tasa de aprendizaje efectiva más alta (-lr-h) generalmente superaron a aquellos con tasas más bajas. Cabe destacar que estos modelos de alto rendimiento exhibieron una menor precisión del MLM y una mayor desviación estándar de la puntuación logit (varianza en las puntuaciones logit) durante el pre-entrenamiento, lo que sugiere que una alta precisión del MLM no necesariamente se correlaciona con la preparación para la recuperación.
2. Compensación en la Poda Estricta: En los escenarios de poda más estrictos (por ejemplo, mantener solo los 5 términos principales de la consulta y 10 términos del documento), los modelos de alto rendimiento (indep- con -lr-h) mantuvieron una mejor eficacia de recuperación pero incurrieron en mayores costos de recuperación (FLOPS) y exhibieron una mayor varianza en la longitud de las listas de publicaciones individuales. Esto indica una compensación donde mantener la eficacia bajo restricciones estrictas de dispersión requiere una distribución menos uniforme de las frecuencias de términos, lo que conduce a mayores costos computacionales de recorrido.
3. Repetición del Conjunto de Datos: Repetir el conjunto de datos general de pre-entrenamiento (comparando indep-repeat vs. indep-uniq) tuvo un impacto mínimo en la eficacia de recuperación. Esto sugiere que la diversidad del corpus para la tarea de clasificación MLM no es un factor crítico para el ajuste fino de clasificación cuando se aplica regularización FLOPS.

Significado y Afirmaciones
El artículo identifica empíricamente limitaciones potenciales en alinear el pre-entrenamiento estándar de MLM con el ajuste fino de ESPLADE. Los autores afirman que:

• Desalineación de Objetivos: Los hallazgos refuerzan la hipótesis de que el pre-entrenamiento de MLM y el ajuste fino de clasificación de IR no siempre están alineados. Los modelos que funcionan bien en tareas de MLM (alta precisión, baja varianza) pueden no ser óptimos para la recuperación, mientras que los modelos con mayor varianza de puntuación logit y menor precisión de MLM (a menudo resultantes del pre-entrenamiento en corpus generales con tasas de aprendizaje más altas) demuestran una mejor adaptabilidad para el ajuste fino de ESPLADE.
• Compensación Eficiencia-Eficacia: El estudio proporciona evidencia empírica de que en escenarios de poda estricta, mantener la eficacia de recuperación a menudo requiere mayores costos de recuperación y una mayor varianza en las longitudes de las listas de publicaciones. Esta compensación es inherente a la configuración de pre-entrenamiento y a las características resultantes de la representación dispersa.
• Transferencia Limitada de Conocimiento Contextual: La falta de diferencia significativa en el rendimiento entre conjuntos de datos generales repetidos y únicos implica una limitación (o quizás una necesidad) en la transferencia de conocimiento contextual desde corpus diversos de pre-entrenamiento de MLM hacia el ajuste fino de clasificación específico de los modelos ESPLADE.

Los autores concluyen que, aunque el pre-entrenamiento de MLM es útil, la configuración específica (tipo de corpus, tasa de aprendizaje) influye significativamente en la preparación del modelo para el ajuste fino de recuperación dispersa, y que las métricas estándar de MLM pueden no ser indicadores fiables del rendimiento de recuperación aguas abajo.