Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study

Resumen Técnico: Fertilidad del Tokenizador y Rendimiento Zero-Shot de Modelos Fundacionales en Textos Legales Ucranianos

Enunciado del Problema
Los modelos fundacionales exhiben disparidades significativas en eficiencia y rendimiento al procesar textos legales ucranianos en comparación con el inglés. El ucraniano, una lengua morfológicamente rica que utiliza el alfabeto cirílico, a menudo sufre de tokenización subóptima, lo que conduce a conteos de tokens inflados, mayores costos de inferencia y ventanas de contexto efectivas reducidas. Si bien existen evaluaciones de dominio general, falta una comparación sistemática sobre cómo funcionan diferentes modelos fundacionales en tareas legales específicas y de alto riesgo dentro del dominio ucraniano. Los profesionales que construyen plataformas de tecnología legal enfrentan incertidumbre en la selección de modelos, ya que el tamaño del modelo (número de parámetros) puede no correlacionarse con el rendimiento en tareas específicas de dominio y no anglófonas.

Metodología
El estudio, designado como "Experimento A" del programa de Entrenamiento de Pruebas LEX AI, evaluó siete modelos fundacionales de cinco proveedores (Meta, Mistral AI, NVIDIA, Amazon y Qwen) accedidos mediante AWS Bedrock. La evaluación utilizó un corpus de 300 decisiones judiciales auténticas del Registro Estatal Unificado de Decisiones Judiciales de Ucrania (EDRSR), estratificadas en jurisdicciones civil, penal, comercial y administrativa. Tras una validación rigurosa de etiquetas mediante votación mayoritaria de tres fuentes (analizador regex, Claude Sonnet 4.5 y NVIDIA Nemotron Super 3), se utilizó un subconjunto validado de 273 documentos para las métricas finales.

La evaluación midió tres dimensiones principales:

1. Fertilidad del Tokenizador: La relación entre tokens de subpalabras y palabras delimitadas por espacios en muestras de documentos de 6.000 caracteres.
2. Rendimiento en Tareas: Rendimiento zero-shot y few-shot en tres tareas:
   • Clasificación de Tipo de Caso: Categorización jurisdiccional de 4 clases.
   • Clasificación de Resultado del Caso: Predicción de 5 clases de disposición del caso (ej. concedido, denegado).
   • Extracción de Normas Legales: Extracción estructurada en JSON de leyes y artículos citados.
3. Análisis de Costos: Costos totales de API incurridos durante la inferencia, incluyendo estudios de ablación sobre la sensibilidad del prompt y la distribución de ejemplos.

Contribuciones Clave

1. Evaluación de Fertilidad del Tokenizador: El documento cuantifica una variación de 1,6× en la eficiencia del tokenizador entre modelos. Demuestra que el diseño del tokenizador es una elección a nivel de vocabulario independiente de la escala del modelo, siendo los modelos de la familia Llama significativamente más eficientes que los modelos Qwen en texto ucraniano.
2. Desacoplamiento entre Rendimiento y Escala: El estudio proporciona evidencia empírica de que el conteo total de parámetros es un predictor pobre del rendimiento en tareas legales ucranianas. Un modelo de 120 mil millones de parámetros (Nemotron Super 3) superó a un modelo de 675 mil millones de parámetros (Mistral Large 3) en todas las tareas a una fracción del costo.
3. Efecto de Degradación Few-Shot: La investigación documenta un fenómeno contra intuitivo donde la indicación few-shot degrada el rendimiento en tareas de clasificación legal ucraniana. Para varios modelos, proporcionar ejemplos redujo la precisión en hasta 26 puntos porcentuales. Los estudios de ablación confirman que esto es intrínseco a la complejidad morfológica de las demostraciones en ucraniano y no un artefacto de la selección de ejemplos o la formulación del prompt.
4. Optimización Costo-Rendimiento: Los autores proporcionan una clasificación compuesta y una arquitectura propuesta de enrutamiento multi-modelo que optimiza tanto la calidad como el costo, sugiriendo que diferentes modelos deben desplegarse para diferentes subtareas dentro de un pipeline legal.

Resultados Clave

• Eficiencia del Tokenizador: Llama 4 Maverick logró la mayor eficiencia (2,43 tokens/palabra), mientras que los modelos Qwen3 fueron los menos eficientes (3,90 tokens/palabra), consumiendo un 60% más de tokens para la misma entrada.
• Rendimiento del Modelo:
  • NVIDIA Nemotron Super 3 logró la puntuación compuesta más alta (83,1) y la mejor precisión zero-shot en la clasificación de resultados del caso (96,0%), superando a Mistral Large 3 (675 mil millones de parámetros totales) a pesar de tener significativamente menos parámetros activos.
  • Llama 4 Maverick empató en la mejor clasificación de tipo de caso (98,9%) al costo más bajo (0,81 dólares para todo el experimento).
  • Llama 3.3 70B tuvo el mejor rendimiento en la extracción de normas legales (F1 = 0,604), sugiriendo que las arquitecturas densas pueden sobresalir en tareas de extracción estructurada.
• Impacto Few-Shot: La indicación few-shot resultó en degradación del rendimiento para 12 de 21 combinaciones de modelo-tarea. La caída más severa se observó en Qwen3 235B en la clasificación de resultados del caso (−26,0 puntos porcentuales). La ablación estratificada confirmó que incluso ejemplos coincidentes con la distribución no mejoraron el rendimiento, apoyando la hipótesis de interferencia morfológica.
• Eficiencia de Costos: El ensemble enrutado (usando Llama 4 Maverick para clasificación, Nemotron para resultados y Llama 3.3 para extracción) logró una puntuación compuesta más alta (85,1) con un 37% menos de costo que usar solo Nemotron.

Significado y Afirmaciones
El documento afirma que para los profesionales que despliegan modelos fundacionales en lenguas morfológicamente ricas con alfabeto cirílico como el ucraniano, las heurísticas estándar como "los modelos más grandes son mejores" o "few-shot es siempre superior" son inválidas. Los autores afirman que:

1. El análisis del tokenizador debe preceder a la selección del modelo para evitar una inflación innecesaria de costos y una reducción de la ventana de contexto.
2. La indicación zero-shot debe ser la línea base predeterminada para tareas legales ucranianas, ya que los ejemplos few-shot pueden interferir activamente con el rendimiento del modelo debido a la rica morfología del idioma.
3. La selección del modelo debe ser específica de la tarea. Ningún modelo domina todas las tareas de PLN legal; una estrategia de enrutamiento que aproveche las fortalezas específicas de diferentes modelos (por ejemplo, usar un modelo más barato y eficiente para clasificación simple y un modelo más capaz para razonamiento complejo) ofrece el equilibrio óptimo entre calidad y costo.
4. La evaluación integral específica del idioma es viable y asequible, con el costo total de esta evaluación extensa (incluyendo ablaciones) ascendiendo a aproximadamente 60 dólares.

El estudio concluye que las evaluaciones centradas en inglés y los conteos de parámetros son proxies insuficientes para el rendimiento en dominios legales no anglófonos, instando a la comunidad a priorizar la evaluación específica del dominio y consciente del idioma antes del despliegue.