Resumen Técnico: Modelos Mecellem

Planteamiento del Problema

Los modelos de lenguaje de gran escala (LLMs) entrenados predominantemente en datos centrados en el inglés exhiben una degradación del rendimiento en idiomas distintos al inglés y en dominios altamente formales. El dominio legal turco presenta desafíos específicos debido a su riqueza morfológica (estructura aglutinante), variaciones sintácticas complejas, terminología intensiva y restricciones normativas estrictas. Los enfoques existentes para el PLN legal en turco se han basado principalmente en el aprendizaje automático tradicional, la clasificación basada en transformadores o el ajuste fino eficiente en parámetros (PEFT) de modelos pequeños. Sin embargo, estos métodos suelen resultar insuficientes para una adaptación profunda al dominio, al no lograr capturar los matices lingüísticos y el razonamiento de contexto largo requeridos para una recuperación y generación efectiva de información legal. Además, los objetivos de preentrenamiento estándar (por ejemplo, la pérdida de Modelado de Lenguaje Enmascarado o MLM) no siempre se correlacionan con la utilidad de los embeddings para tareas posteriores, particularmente en lenguas morfológicamente ricas.

Metodología

El artículo presenta Mecellem, un marco para desarrollar modelos de lenguaje legales especializados en turco a través de dos enfoques complementarios:

1. Modelos de Codificador (Encoder): Preentrenados desde cero

Los autores desarrollaron modelos codificadores bidireccionales basados en la arquitectura ModernBERT, preentrenados íntegramente desde cero sobre un corpus curado de predominancia turca.

• Datos: El corpus consta de 112.7 mil millones de tokens, combinando textos legales turcos (Corte de Casación, Consejo de Estado, tesis académicas) con datos web generales (FineWeb2, CulturaX). Los datos se sometieron a un preprocesamiento riguroso, incluyendo la extracción mediante OCR basado en VLM (DotsOCR) para documentos escaneados, deduplicación semántica (SemHash) y filtrado de calidad específico para el turco basado en la entropía de sufijos y la diversidad de lemas.
• Arquitectura: Se entrenaron dos tamaños de modelo: Base (155M de parámetros) y Large (403M de parámetros). Ambos utilizan atención local y global alternada, incrustaciones posicionales RoPE y admiten longitudes de secuencia de hasta 8,192 tokens.
• Estrategia de Entrenamiento:
  • Preentrenamiento: Se utilizó el Modelado de Lenguaje Enmascarado (MLM) con una tasa de enmascaramiento del 30% (estrategia 80-10-10).
  • Selección de Checkpoints: En lugar de depender únicamente de la minimización de la pérdida de MLM, los autores implementaron una estrategia que evalúa el rendimiento de recuperación downstream durante todo el entrenamiento. Esto reveló que los checkpoints óptimos para la recuperación suelen ocurrir antes de que la pérdida de preentrenamiento alcance su mínimo.
  • Postentrenamiento: Los codificadores se convirtieron en modelos de embedding mediante aprendizaje contrastivo en el conjunto de datos MS MARCO-TR. Las técnicas incluyeron InfoNCE estándar, InfoNCE estilo Qwen3 y GISTEmbed con modelos guía en caché (BGE-M3, EmbeddingGemma-300M) para el filtrado de falsos negativos.

2. Modelos de Decodificador (Decoder): Preentrenamiento Continuo (CPT)

Los autores adaptaron los modelos decodificadores existentes Qwen3-1.7B y Qwen3-4B al dominio legal turco mediante Preentrenamiento Continuo.

• Estrategia: Se empleó un enfoque de aprendizaje de currículo de cuatro fases para el modelo de 1.7B, progresando desde textos generales en turco hacia contenido legal específico, documentos normativos largos y, finalmente, un refinamiento de dominio extendido. El modelo de 4B se sometió a un único CPT a gran escala.
• Mitigación del Olvido Catastrófico: Se utilizó la estructura del currículo y la inclusión de un búfer de repetición (reintroduciendo los datos de la Fase 1 en la Fase 2) para preservar las capacidades lingüísticas generales mientras se adquiría la pericia legal.
• Evaluación: El rendimiento se midió mediante la perplejidad en el conjunto de datos EuroHPC-Legal y se evaluó utilizando Muhakim, un modelo de recompensa específico del dominio entrenado para evaluar la precisión estatutaria, el razonamiento legal y la calidad de las citas.
• Conversión de Decodificador a Codificador: Los modelos decodificadores CPT se convirtieron en modelos de embedding eliminando la cabeza de modelado de lenguaje, habilitando la atención bidireccional y aplicando el agrupamiento promedio (mean pooling).

Contribuciones Clave

1. Preentrenamiento desde cero para Embeddings Legales en Turco: La creación de codificadores basados en ModernBERT preentrenados desde cero sobre 112.7 mil millones de tokens, demostrando que el preentrenamiento desde cero para dominios específicos es efectivo para tareas legales en turco.
2. Selección de Checkpoint Consciente del Downstream: Un hallazgo novedoso de que, para lenguas morfológicamente ricas, el checkpoint óptimo para el rendimiento de recuperación downstream no necesariamente coincide con el mínimo de la pérdida de preentrenamiento. Los checkpoints intermedios suelen ofrecer una calidad de embedding superior.
3. Preentrenamiento Continuo Controlado: Una aplicación exitosa de CPT a modelos Qwen3 utilizando un aprendizaje de currículo de cuatro fases, logrando reducciones significativas de perplejidad (hasta un 43.1% para el modelo 1.7B) mientras se mitiga el olvido catastrófico.
4. Ingeniería de Datos Específica para el Turco: Desarrollo de un pipeline robusto para la extracción y limpieza de datos legales turcos, incluyendo OCR basado en VLM para documentos complejos y filtros de calidad impulsados por la morfología (entropía de sufijos, diversidad de lemas).
5. Benchmarking Exhaustivo: Introducción de MTEB-Turkish, un marco de evaluación que extiende MTEB con tareas específicas del turco y tres benchmarks de recuperación legal de dominio específico (Contratos, Regulación, Jurisprudencia).

Resultados

• Rendimiento de los Codificadores:
  • Los modelos Mursit-Base-TR-Retrieval (155M) y Msursit-Large-TR-Retrieval (403M) alcanzaron los tres primeros puestos en la tabla de clasificación de recuperación en turco.
  • A pesar de tener significativamente menos parámetros que los modelos de vanguardia (ej. EmbeddingGemma-300M, BGE-M3), los modelos Mecellem lograron un rendimiento comparable. El modelo de 155M alcanzó un Puntaje MTEB de 55.86 y un Puntaje Legal de 47.52, superando a los modelos decodificadores convertidos más grandes.
  • Los modelos alcanzaron una eficiencia de producción del 92.36% respecto a los modelos SOTA, ocupando el cuarto lugar general requiriendo menos recursos computacionales.
• Rendimiento de los Decodificadores:
  • El CPT resultó en una reducción de perplejidad del 36.2% en textos legales turcos para el modelo Qwen3-4B y de hasta un 43.1% para el Qwen3-1.7B.
  • La evaluación con el modelo de recompensa Muhakim mostró que los modelos CPT superaron consistentemente a los modelos base en precisión legal, referencia de estatutos y profundidad de cobertura, particularmente bajo restricciones de contexto corto.
• Perspectivas de Ablación:
  • Longitud de Secuencia: Optimizar la longitud de la secuencia basándose únicamente en la distribución de los datos de entrenamiento (ej. 256 tokens) causó una degradación significativa del rendimiento (hasta un 23.6% en la recuperación de regulaciones) en comparación con secuencias más largas (2048 tokens), lo que resalta la necesidad de una comprensión de contexto largo en los dominios legales.
  • Filtrado de Falsos Negativos: El uso de GISTEmbed con modelos guía mejoró los puntajes de recuperación legal en un 15.9% respecto al InfoNCE estándar.
  • Arquitectura: Los modelos codificadores diseñados específicamente y preentrenados desde cero superaron a los modelos convertidos de decodificador a codificador, los cuales tuvieron dificultades con las tareas de recuperación legal a pesar de contar con más parámetros.

Significado y Reivindicaciones

El artículo sostiene que se pueden desarrollar modelos de lenguaje legales en turco efectivos mediante el preentrenamiento específico de dominio desde cero y el preentrenamiento continuo controlado, siempre que las estrategias de entrenamiento se adapten a las complejidades lingüísticas del turco.

Las afirmaciones clave incluyen:

• La pérdida de MLM no es un Proxy para la Calidad de los Embeddings: Para lenguas morfológicamente ricas como el turco, minimizar la pérdida de preentrenamiento no garantiza un rendimiento óptimo de los embeddings en tareas posteriores. La evaluación directa de las tareas downstream es esencial para la selección de checkpoints.
• Eficiencia de Parámetros: Los modelos más pequeños y específicos del dominio (155M de parámetros) pueden alcanzar un rendimiento comparable al de modelos mucho más grandes con múltiples etapas de postentrenamiento, ofreciendo una alternativa rentable para aplicaciones de PLN legal.
• Necesidad del Aprendizaje de Currículo: Para modelos más pequeños, un enfoque estructurado de aprendizaje de currículo de múltiples fases es crítico para una adaptación de dominio exitosa sin olvido catastrófico, mientras que los modelos más grandes pueden tolerar un entrenamiento de una sola fase.
• Limitaciones: El artículo señala modestamente que la conversión de decodificador a codificador sin una infraestructura de entrenamiento de múltiples etapas extensiva (generación de datos sintéticos, fusión de modelos) resulta en un rendimiento subóptimo para tareas de embedding, particularmente en dominios legales especializados.

Los autores enfatizan que su trabajo aborda la naturaleza desatendida del PLN legal en turco, proporcionando modelos y benchmarks de código abierto para facilitar el desarrollo de herramientas legales impulsadas por IA adaptadas al marco legal único de Turquía.