Long-Context Encoder Models for Polish Language Understanding

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) basados en arquitecturas decoder-only dominan el panorama actual de la IA, los modelos encoder-only (como BERT o RoBERTa) siguen siendo el estándar más eficiente en términos de costos y parámetros para tareas discriminativas (clasificación, NER, etc.). Sin embargo, estos modelos clásicos tienen una limitación crítica: una ventana de contexto corta (típicamente 512 tokens), lo que es insuficiente para procesar documentos largos, como contratos legales, informes financieros o artículos extensos.

Existe una brecha significativa en el idioma polaco: mientras que para el inglés han surgido modelos encoder de contexto largo (como ModernBERT o MosaicBERT), no existía una solución de alta calidad específicamente entrenada para el polaco que pudiera manejar secuencias de hasta 8192 tokens sin sacrificar el rendimiento en textos cortos.

2. Metodología

Los autores desarrollaron polish-roberta-8k, un modelo basado en la arquitectura RoBERTa polaca de alta calidad (polish-roberta-large-v2), adaptado para contextos largos mediante un procedimiento de entrenamiento en dos etapas:

• Adaptación Arquitectónica:

  • Se extendió la capa de incrustaciones posicionales (positional embeddings) hasta 8192 posiciones.
  • Se implementó Flash Attention para reducir el consumo de memoria y la sobrecarga computacional.
  • Se utilizó empaque libre de contaminación (contamination-free packing): una técnica que concatena múltiples documentos cortos hasta llenar el contexto, pero restringe el mecanismo de atención para que no cruce los límites entre documentos, evitando la "contaminación" de información irrelevante.

• Entrenamiento en Dos Etapas:

  1. Ajuste de Posiciones: Se congelaron todos los pesos del modelo original y solo se entrenaron las nuevas incrustaciones posicionales (1 época). Esto fue necesario para estabilizar los gradientes y alinear las nuevas posiciones con los pesos existentes.
  2. Entrenamiento Completo: Se entrenaron todos los parámetros del modelo durante 4 épocas adicionales sobre un corpus de 150 mil millones de tokens en polaco.
  • Hiperparámetros: Se utilizó un masking rate del 20% (5% más alto que en RoBERTa estándar) y whole word masking.
  • Fusión de Checkpoints: El modelo final es una fusión de checkpoints de las épocas 2, 3 y 4 para equilibrar el rendimiento en textos cortos y largos.

• Compresión mediante Destilación de Conocimiento:

  • Se crearon variantes comprimidas reduciendo el número de capas de 24 a 12 (50% de reducción) y a 6 (75% de reducción).
  • Se utilizó destilación de conocimiento (MSE entre las representaciones de tokens del modelo "maestro" y el "estudiante").
  • Se comparó una destilación simple (directa) con una destilación progresiva (primero a 12 capas, luego a 6), siendo esta última más efectiva para preservar la calidad en el modelo más pequeño.

3. Contribuciones Clave

1. Lanzamiento de un Modelo de Contexto Largo: Entrenamiento y publicación de polish-roberta-8k, el primer modelo encoder de alta calidad para polaco capaz de procesar hasta 8192 tokens.
2. Variantes Eficientes: Desarrollo de versiones comprimidas (12 y 6 capas) mediante destilación, optimizadas para dispositivos con recursos limitados (edge devices).
3. Evaluación Exhaustiva y Nuevo Benchmark:
   • Evaluación en 25 tareas diversas.
   • Introducción de FinBench: Un nuevo conjunto de 7 tareas específicas del dominio bancario y financiero en polaco (clasificación de temas bancarios, detección de intenciones, análisis de sentimiento financiero, etc.).

4. Resultados

El modelo fue evaluado frente a modelos polacos existentes (HerBERT, RoBERTa-v2) y modelos multilingües (XLM-R, EuroBERT, mmBERT):

• Rendimiento General: polish-roberta-8k logró el mejor puntaje promedio entre todos los modelos evaluados (85.93%), superando ligeramente a polish-roberta-large-v2 (85.70%) y a HerBERT-large (84.88%).
• Tareas de Contexto Largo: El modelo superó significativamente a la competencia en las 4 tareas que requerían textos largos (Banking-Long, MIPD, EURLEX, IMDB largo), donde los modelos de 512 tokens fallan o requieren truncamiento.
• Tareas de Texto Corto: Mantuvo un rendimiento comparable a los modelos base en tareas de texto corto, demostrando que la extensión del contexto no degradó la capacidad del modelo para textos breves.
• Modelos Comprimidos: La versión de 12 capas (polish-roberta-8k-12L) obtuvo resultados muy competitivos, superando a los modelos base estándar. La versión de 6 capas con destilación progresiva también mostró un rendimiento sólido.
• Evaluación Interna Bancaria: En pruebas con datos propietarios de un banco (correos electrónicos y contratos de hipoteca), el modelo adaptado al dominio logró mejoras de hasta 8 puntos porcentuales en clasificación de correos electrónicos frente a la línea base (HerBERT), confirmando que la adaptación de dominio y el contexto largo son cruciales para aplicaciones financieras.

5. Significado e Impacto

Este trabajo es fundamental para el ecosistema de PLN en polaco por varias razones:

• Viabilidad de Documentos Largos: Permite aplicaciones prácticas en sectores como banca, legal y administración pública, donde los documentos superan ampliamente los 512 tokens, sin necesidad de recurrir a LLMs generativos costosos y lentos.
• Eficiencia: Demuestra que los modelos encoder siguen siendo superiores en eficiencia para tareas discriminativas, incluso con contextos extendidos, ofreciendo un equilibrio óptimo entre precisión y costo computacional.
• Dominio Financiero: La creación de FinBench y los resultados en datos bancarios reales establecen un nuevo estándar para el procesamiento de lenguaje en el sector financiero polaco, facilitando la automatización de tareas complejas de análisis documental.
• Accesibilidad: Al ofrecer modelos comprimidos (6 y 12 capas), democratiza el acceso a tecnología de contexto largo para entornos con limitaciones de hardware.

En conclusión, el artículo presenta una solución robusta y escalable para el procesamiento de documentos largos en polaco, combinando innovaciones arquitectónicas (Flash Attention, empaque seguro) con estrategias de entrenamiento avanzadas (destilación progresiva), logrando un nuevo estado del arte en el idioma.