Resumen Técnico: HalleluBERT

Planteamiento del Problema

A pesar del impacto transformador de los modelos basados en transformers como BERT y RoBERTa en el Procesamiento del Lenguaje Natural (NLP), el idioma hebreo carece de un codificador de gran escala, al estilo de RoBERTa, entrenado desde cero y publicado tanto en variantes base como large. Los modelos de hebreo existentes enfrentan limitaciones significativas:

• Corpus y Escala: Modelos previos como HeBERT y AlephBERT fueron entrenados en corpus comparativamente modestos (aprox. 10–18 GB), lo que limita su cobertura de la compleja morfología y la diversidad de dominios del hebreo.
• Transparencia en el Entrenamiento: Aunque HeRo introdujo el preentrenamiento al estilo de RoBERTa para el hebreo, carecía de un reporte completo de detalles críticos del entrenamiento (por ejemplo, el tamaño de lote efectivo, el total de pasos de actualización) y parecía haber sido entrenado bajo recursos computacionales limitados.
• Variantes de Modelos: No existía un modelo de variante large disponible públicamente para probar los beneficios de escalar los parámetros para este idioma específico.

Consecuentemente, existe una brecha en recursos de alta calidad y reproducibles para el NLP en hebreo que puedan igualar el rendimiento de los modelos multilingües (como XLM-RoBERTa) aprovechando al mismo tiempo las ventajas del preentrenamiento monolingüe.

Metodología

Datos y Preprocesamiento

Los autores construyeron un corpus de preentrenamiento que suma aproximadamente 49.1 GB de texto en hebreo deduplicado. Este conjunto de datos combina:

• HeDC4: Un corpus web limpio e identificado por idioma derivado de mC4 y OSCAR22 (aprox. 47.5 GB).
• Wikipedia: Un volcado de la Wikipedia en hebreo (aprox. 1.6 GB).
  Los documentos fueron mezclados antes del entrenamiento para mitigar los efectos de ordenación provenientes de rastreos específicos de la fuente.

Para la tokenización, los autores emplearon Codificación de Par de Bytes (BPE) operando a nivel de bytes, consistente con RoBERTa. En lugar de utilizar un tokenizador optimizado para el inglés (por ejemplo, GPT-2), entrenaron un vocabulario específico para el hebreo sobre 20 GB de texto mezclado. Esto resultó en un inventario de 52k subpalabras adaptado a las propiedades ortográficas y morfológicas del hebreo.

Arquitectura del Modelo y Preentrenamiento

El artículo presenta HalleluBERT, una familia de codificadores de estilo RoBERTa con dos variantes:

• HalleluBERTbase: Comparable en tamaño a los modelos BERT de hebreo existentes (~126M de parámetros).
• HalleluBERTlarge: Una variante escalada (~357M de parámetros).

El entrenamiento se llevó a cabo utilizando el framework fairseq en un pod de TPUv4 de 128 núcleos. Los hiperparámetros clave de entrenamiento incluyeron:

• Precisión: Precisión total (no se utilizó precisión mixta debido a las limitaciones del framework).
• Programación (Schedule): 100,000 pasos de actualización con un calentamiento (warmup) de 10k pasos y decaimiento de la tasa de aprendizaje polinómico.
• Tamaño de Lote (Batch Size): Tamaño de lote global de 8k.
• Tasas de Aprendizaje: 0.0004 para el modelo base y 0.00015 para el modelo large.
• Duración: El modelo base se entrenó en ~30.2 horas; el modelo large requirió ~6.0 días.

Protocolo de Evaluación

Los modelos fueron evaluados en benchmarks nativos de hebreo para Reconocimiento de Entidades Nombradas (NER) y Clasificación de Sentimientos:

• NER: Evaluado en el conjunto de datos BMC y la variante basada en tokens de NEMO2.
• Sentimiento: Evaluado en SMCD (Comentarios de Redes Sociales Deduplicados), una versión limpia del conjunto de datos de OmiLab que contiene ~8,465 muestras únicas.

El pipeline de evaluación utilizó una búsqueda de cuadrícula (grid search) sobre tamaños de lote {16, 32} y tasas de aprendizaje {5e-6 a 5e-5} en GPUs NVIDIA RTX 3090. Los modelos fueron ajustados (fine-tuned) por hasta 30 épocas con parada temprana (early stopping). El rendimiento se midió utilizando F1 micro-promediado para NER y F1 macro-promediado para sentimiento.

Contribuciones Clave

1. Lanzamiento de HalleluBERT: Los autores lanzaron tanto la variante base como la large de un codificador de estilo RoBERTa para el hebreo, entrenado desde cero en un corpus de gran escala y limpio.
2. Tokenizador Personalizado: Desarrollo y lanzamiento de un tokenizador BPE a nivel de bytes específico para el hebreo (vocabulario de 52k).
3. Benchmarking Exhaustivo: Una comparación rigurosa contra modelos monolingües existentes (HeBERT, AlephBERT, HeRo) y baselines multilingües (mBERT, XLM-RoBERTa).
4. Ciencia Abierta: Todos los pesos del modelo y el tokenizador se liberan bajo la licencia MIT para apoyar la investigación reproducible.

Resultados

HalleluBERT logró un rendimiento de estado del arte en las tareas evaluadas:

• Reconocimiento de Entidades Nombradas:
  • HalleluBERTbase logró los puntajes de micro-F1 más altos tanto en BMC (93.33) como en NEMO (87.06), superando a todos los demás modelos base.
  • HalleluBERTlarge mantuvo una ventaja consistente en NEMO (88.70) y en el promedio de NER, confirmando que el escalado beneficia el rendimiento de NER.
• Clasificación de Sentimientos:
  • Mientras que AlephBERT lideró entre los modelos base (83.66), HalleluBERTlarge alcanzó el puntaje de clasificación más alto en general (84.91), superando a XLM-RoBERTalarge por más de un punto.
• Rendimiento General:
  • HalleluBERTlarge obtuvo el puntaje medio no ponderado más alto en los tres benchmarks (BMC, NEMO, SMCD) con 88.95, ocupando el primer lugar entre todos los modelos evaluados.
  • HalleluBERTbase ocupó el segundo lugar general (87.83), superando a todos los demás baselines en el promedio combinado.

Notablemente, los resultados indican que el preentrenamiento monolingüe en corpus de gran escala y alta calidad produce un rendimiento superior en comparación con los codificadores multilingües para tareas específicas del hebreo.

Significado y Reivindicaciones

El artículo postula que HalleluBERT demuestra el valor del preentrenamiento monolingüe de gran lote para el hebreo. Los autores afirman que se pueden lograr ganancias sustanciales de rendimiento incluso con elecciones de hiperparámetros conservadoras (por ejemplo, entrenamiento de precisión total, tasas de aprendizaje estándar) cuando la escala de datos y cómputo es suficiente.

El trabajo destaca que:

1. Superioridad Monolingüe: Para el hebreo, un modelo entrenado exclusivamente en texto de alta calidad en hebreo supera a sus contrapartes multilingües, reforzando la necesidad de recursos específicos del idioma.
2. Escalabilidad: Escalar de las variantes base a las large proporciona mejoras consistentes, aunque a veces marginales, particularmente en las tareas de NER.
3. Reproducibilidad: Al liberar el modelo y el tokenizador, los autores pretenden establecer un nuevo estándar de referencia para el NLP en hebreo, abordando vacíos previos en la transparencia del entrenamiento y la disponibilidad de modelos.

Los autores reconocen modestamente las limitaciones, incluyendo la falta de intervalos de confianza (debido a semillas aleatorias fijas), la ausencia de entrenamiento de precisión mixta (lo que limitó la eficiencia computacional) y la exclusión de variaciones dialectales o de dominio específico (por ejemplo, hebreo bíblico, textos legales) en los datos de preentrenamiento. Sugieren que trabajos futuros podrían explorar el Enmascaramiento de Palabra Completa (Whole Word Masking, WWM), ablaciones de vocabulario y suites de evaluación más amplias.