💬 NLP

Temporal Concept Drift in Legal Judgment Prediction: Neural Baselines Across Three Epochs of Ukrainian Court Decisions

Este estudio revela que el lenguaje jurídico en las decisiones judiciales ucranianas experimenta una deriva temporal significativa de conceptos a través de épocas geopolíticas, lo que provoca una degradación severa del rendimiento en los modelos estándar cuando se aplican hacia adelante en el tiempo, al tiempo que demuestra que el aprendizaje continuo cronológico y el preentrenamiento en el dominio jurídico pueden mitigar eficazmente esta deriva y prevenir el olvido catastrófico.

Autores originales: Volodymyr Ovcharov

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Volodymyr Ovcharov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante a predecir el resultado de casos judiciales. Le das una pila de libros de texto antiguos de 2008 a 2013 (una época de paz) y le pides que rinda un examen hoy, en 2026, después de una guerra masiva y una reestructuración completa del sistema legal.

Este artículo trata sobre lo que sucede cuando intentas usar a ese estudiante de "libro de texto antiguo" para resolver problemas de un "nuevo mundo". Los investigadores descubrieron que el estudiante falla estrepitosamente, no porque sea tonto, sino porque el mundo que está estudiando ha cambiado fundamentalmente.

Aquí está el desglose de sus hallazgos utilizando analogías simples:

1. El problema del "viaje en el tiempo"

Los investigadores probaron modelos de IA (programas informáticos que comprenden el lenguaje) en decisiones judiciales ucranianas de tres periodos de tiempo distintos:

Pre-guerra (2008–2013): Un tiempo tranquilo y estable.
Guerra híbrida (2014–2021): Un tiempo de conflicto y reformas.
Invasión a gran escala (2022–2026): Un tiempo de ley marcial y leyes completamente nuevas.

El hallazgo: Si entrenas una IA con datos de "pre-guerra" y la pruebas con datos de "invasión a gran escala", su rendimiento se desploma. Es como enseñarle a alguien a conducir por un camino rural tranquilo y luego pedirle que navegue por una ciudad caótica y devastada por la guerra con nuevas leyes de tráfico que nunca ha visto. La IA pierde hasta un 27% de su precisión.

2. La "calle de un solo sentido" del conocimiento legal

El descubrimiento más interesante es que este fallo no es igual en ambas direcciones.

Hacia adelante (de lo antiguo a lo nuevo): Si entrenas con leyes antiguas y pruebas con leyes nuevas, la IA falla. No conoce las nuevas reglas de "ley marcial" ni los nuevos delitos creados por la guerra.
Hacia atrás (de lo nuevo a lo antiguo): Si entrenas a la IA con los datos complejos y caóticos de la "invasión a gran escala" y la pruebas con los datos simples de "pre-guerra", la IA en realidad mejora.

La analogía: Piensa en el lenguaje legal como un árbol en crecimiento.

Las nuevas leyes son como nuevas ramas y hojas. Crecen encima de las antiguas.
Si estudias todo el árbol (incluidas las nuevas ramas), puedes reconocer fácilmente el tronco antiguo y las ramas inferiores.
Pero si solo estudias el tronco antiguo, no tienes idea de cómo son las nuevas ramas.
Los investigadores llaman a esto la "Hipótesis Aditiva": La ley añade cosas nuevas; rara vez elimina las cosas antiguas por completo. Por lo tanto, un modelo entrenado con el conjunto de datos "más nuevo y grande" entiende perfectamente el conjunto de datos "más antiguo y pequeño", pero lo contrario es imposible.

3. El "especialista" frente al "generalista"

Los investigadores probaron dos tipos de IA:

Generalistas: Modelos de IA estándar entrenados con todo tipo de textos.
Especialistas: Modelos de IA pre-entrenados específicamente en documentos legales.

La sorpresa: Podrías pensar que el "especialista" sería mejor. Pero el "generalista" en realidad tuvo un mejor rendimiento en general.

El especialista fue más estable (no colapsó tan fuerte al pasar de datos antiguos a nuevos), pero en general era peor en la tarea desde el principio. Era como un especialista que conoce las reglas del juego pero es terrible jugando.
El generalista fue un mejor jugador, pero sufrió más cuando cambiaron las reglas.

4. El experimento del "profesor extranjero"

Intentaron ver si enseñar a la IA con datos de un país diferente (Suiza) la ayudaría a entender mejor la ley ucraniana.

Resultado: Ayudó a que la IA se volviera ligeramente más inteligente en general (como darle un mejor diccionario), pero no solucionó el problema del tiempo. La IA aún falló estrepitosamente al pasar de datos ucranianos antiguos a datos ucranianos nuevos.
Conclusión: El problema no es que la IA carezca de conocimiento de otros países; el problema es que el lenguaje de la ley en sí evoluciona con el tiempo de una manera que los datos extranjeros no pueden predecir.

5. La solución: "Reentrenamiento cronológico"

¿Cómo arreglas a un estudiante que sigue fallando porque el mundo cambió? No tiras los libros de texto antiguos y empiezas de cero. Los actualizas.

Los investigadores probaron el Aprendizaje Continuo:

La forma correcta (Cronológica): Entrena a la IA con datos de pre-guerra, luego añade datos de guerra híbrida, luego añade datos de invasión a gran escala.
- Resultado: La IA recuerda perfectamente las leyes antiguas y aprende las nuevas. Se convierte en un superexperto que conoce toda la historia.
La forma incorrecta (Inversa): Entrena con datos de invasión a gran escala, luego intenta volver a la guerra híbrida, luego a la pre-guerra.
- Resultado: La IA "olvida" las nuevas leyes complejas y colapsa. Es como intentar desaprender el cálculo avanzado para volver a las matemáticas básicas; el cerebro se confunde y pierde el conocimiento avanzado.

Resumen

Este artículo demuestra que en el mundo legal, el tiempo importa más que el modelo que elijas.

Si construyes una IA legal hoy usando datos antiguos, se volverá poco fiable muy rápidamente.
La mejor estrategia es mantener a la IA actualizada cronológicamente, alimentándola con nuevos datos a medida que llegan, para que construya su conocimiento como un árbol en crecimiento en lugar de una instantánea estática.
Los modelos legales "especialistas" no salvaron el día; de hecho, los modelos estándar, cuando se actualizan correctamente, funcionaron mejor.

Los investigadores han publicado sus datos (428.000 decisiones judiciales) para que otros puedan probar este problema de "viaje en el tiempo" en sus propios sistemas.

Resumen Técnico: Deriva Conceptual Temporal en la Predicción de Sentencias Legales

Declaración del Problema

Las actuales referencias de NLP legal (por ejemplo, LexGLUE, LEXTREME, SCALE) dependen predominantemente de divisiones aleatorias entre entrenamiento y prueba, asumiendo implícitamente que el lenguaje legal es estacionario. Este diseño oculta la realidad de la deriva conceptual temporal, donde el rendimiento del modelo se degrada a medida que la distribución temporal de los datos de prueba se desvía de los datos de entrenamiento. En el dominio legal, esta deriva se amplifica por cambios legislativos, prácticas judiciales en evolución y shocks exógenos (por ejemplo, conflictos, reformas). Aunque trabajos anteriores establecieron que las líneas base clásicas de TF-IDF sufren una degradación significativa a través de las épocas de decisiones judiciales ucranianas, la magnitud de este fenómeno en modelos transformadores neuronales y la eficacia de estrategias de preentrenamiento específico del dominio o de aprendizaje continuo permanecieron inexploradas.

Metodología

Conjunto de Datos y Épocas Temporales

El estudio utiliza 428.000 decisiones judiciales ucranianas (jurisdicciones civil y comercial) extraídas del Registro Estatal Unificado de Decisiones Judiciales (EDRSR). Los datos se dividen en tres épocas temporales distintas que reflejan disrupciones geopolíticas:

Prebélico (2008–2013): Línea base de tiempo de paz (128k decisiones).
Guerra híbrida (2014–2021): Post-anexión de Crimea y reforma judicial (150k decisiones).
Invasión a gran escala (2022–2026): Ley marcial y nuevos marcos procesales (150k decisiones).

Dentro de cada época, las divisiones son cronológicas (80% entrenamiento, 10% validación, 10% prueba) para evitar fugas temporales. Las etiquetas se clasifican en tres categorías: Aprobada, Desestimada y Parcial.

Modelos y Diseño Experimental

Cuatro variantes de transformadores basadas en XLM-RoBERTa fueron ajustadas finamente para aislar los efectos de la escala del modelo y el preentrenamiento del dominio:

Propósito general: XLM-R Base (278M) y Large (560M).
Dominio legal: Legal-XLM-R Base y Large (preentrenados en MultiLegalPile).

El protocolo de evaluación consta de cuatro experimentos:

Líneas base intra-época: Entrenamiento y prueba en la misma época para establecer el rendimiento diagonal.
Generalización inter-época: Una matriz $3 \times 3$ donde los modelos entrenados en una época se prueban en las tres. Las métricas incluyen Degradación Forward (Prebélico $\to$ Invasión a gran escala) y Degradación Backward (Invasión a gran escala $\to$ Prebélico).
Transferencia interjurisdiccional: Utilizando datos de Swiss Judgment Prediction (SJP) para probar si el preentrenamiento en jurisdicciones extranjeras mitiga la deriva temporal.
Aprendizaje continuo: Ajuste fino secuencial en dos direcciones:
- Forward (Cronológico): Prebélico $\to$ Híbrido $\to$ Invasión a gran escala.
- Backward (Reverso-cronológico): Invasión a gran escala $\to$ Híbrido $\to$ Prebélico.

Resultados Clave

1. Degradación Forward Severa y Asimétrica

La deriva temporal es una fuente dominante de degradación del rendimiento, superando el impacto de la selección del modelo o el preentrenamiento del dominio.

Degradación Forward: Los modelos entrenados con datos prebélicos pierden 11,2 a 27,2 puntos porcentuales (pp) en macro-F1 cuando se aplican a decisiones de invasión a gran escala. El modelo más grande (XLM-R Large) sufrió una caída de 27,2 pp.
Asimetría: La transferencia backward es significativamente más robusta. Los modelos entrenados en la compleja era de invasión a gran escala a menudo funcionan mejor en datos de prueba prebélicos que en su propia época de entrenamiento (por ejemplo, XLM-R Base gana +9,0 pp al moverse hacia atrás). Esto respalda la hipótesis del "lenguaje aditivo": los nuevos marcos legales subsumen a los anteriores, pero los modelos antiguos carecen de representaciones para nuevos conceptos (por ejemplo, disposiciones de ley marcial).

2. La Paradoja del Preentrenamiento en Dominio Legal

Contrario a las expectativas, el preentrenamiento en dominio legal (Legal-XLM-R) no mejoró el rendimiento absoluto en comparación con el XLM-R general.

Rendimiento Absoluto: Los modelos Legal-XLM-R obtuvieron 7–9 pp menos que los modelos generales en tareas intra-época.
Robustez Temporal: Los modelos legales mostraron menos degradación forward (11–12 pp frente a 20–27 pp) y una brecha de asimetría menor. Sin embargo, esta "robustez" se deriva de un poder discriminativo de línea base más bajo; sus representaciones son menos específicas de la época, pero también menos efectivas para la tarea.
Fragilidad Direccional: A diferencia de los modelos generales, los modelos legales se degradaron en ambas direcciones, forward y backward, lo que sugiere que sus representaciones son frágiles ante cualquier desplazamiento temporal.

3. Dinámicas del Aprendizaje Continuo

Entrenamiento Cronológico (Forward): Para los modelos XLM-R generales, el ajuste fino secuencial (Prebélico $\to$ Invasión a gran escala) eliminó el olvido catastrófico. El conocimiento prebélico se mantuvo o mejoró (+1,8 a +6,2 pp), mientras que el rendimiento en invasión a gran escala ganó +16,5 a +19,0 pp. El modelo resultante superó a cualquier modelo de época única.
Entrenamiento Reverso-Cronológico: Esta dirección causó olvido catastrófico severo (−12,2 a −14,3 pp en datos de invasión a gran escala).
Modelos Legales: Legal-XLM-R no logró retener conocimiento incluso en la dirección forward, perdiendo 5,6 pp en datos prebélicos.

4. Límites de la Transferencia Interjurisdiccional

El preentrenamiento en datos de Swiss Judgment Prediction mejoró el rendimiento absoluto en todas las épocas (+3 a +10 pp) pero no redujo la magnitud de la degradación temporal. La brecha de degradación forward permaneció virtualmente idéntica (20,3 pp frente a 21,3 pp), confirmando que la deriva temporal es una propiedad intrínseca de la evolución del lenguaje legal, no un artefacto específico de una jurisdicción.

5. Líneas Base Neuronales vs. Clásicas

Los modelos neuronales (F1 medio ~63–65%) rindieron sustancialmente por debajo de la línea base TF-IDF (F1 medio ~79,8%). Los autores atribuyen esto a penalizaciones de fertilidad del tokenizador en texto ucraniano en cirílico, donde SentencePiece fragmenta los términos legales en 3–5 subpalabras, reduciendo el contexto efectivo dentro de la ventana de 512 tokens.

Significado y Afirmaciones

El artículo establece el primer referente de robustez temporal neuronal para NLP legal. Sus contribuciones principales son:

Cuantificación de la Deriva: Demostrar que la deriva temporal es un factor más crítico para la fiabilidad del modelo que la arquitectura del modelo o el preentrenamiento del dominio.
Insight Mecanístico: Validar la hipótesis del "lenguaje aditivo" a través de resultados de transferencia asimétrica y trayectorias de aprendizaje continuo.
Estrategia de Mitigación: Identificar el aprendizaje continuo cronológico como una estrategia efectiva para que los modelos de propósito general mantengan el conocimiento histórico mientras se adaptan a nuevos marcos legales, mientras que el entrenamiento reverso-cronológico es perjudicial.
Estándares de Referencia: Argumentar que las referencias de NLP legal deben reportar la robustez temporal junto con el rendimiento agregado para reflejar los riesgos de implementación en el mundo real.
Liberación de Recursos: Proporcionar un conjunto de datos públicamente disponible de 428k decisiones con anotaciones temporales como contribución a LEXTREME.

Los autores concluyen que para los sistemas desplegados de NLP legal, el reentrenamiento cronológico periódico sobre datos recientes es esencial, y la dependencia del preentrenamiento en dominio legal puede ser contraproducente para tareas específicas de jurisdicción que requieren alto poder discriminativo.