LegalMidm: Use-Case-Driven Legal Domain Specialization for Korean Large Language Model

A continuación se presenta un resumen técnico detallado del artículo "LEGALMIDM: ESPECIALIZACIÓN EN EL DOMINIO LEGAL ORIENTADA A CASOS DE USO PARA MODELOS DE LENGUAJE GRANDE COREANOS".

1. Declaración del Problema

La rápida proliferación de Modelos de Lenguaje Grande (LLM) de código abierto ha impulsado esfuerzos para crear especialistas en dominios específicos. Sin embargo, los LLM especializados en dominios existentes (particularmente en el campo legal) a menudo sufren una desconexión crítica:

• Desalineación con las Necesidades del Mundo Real: Muchos modelos se entrenan con conjuntos de datos y protocolos basados en suposiciones ingenuas de utilidad, en lugar de los requisitos matizados y de alto riesgo de los flujos de trabajo legales reales.
• Falta de Rigor: Los enfoques actuales a menudo no abordan la ambigüedad inherente a las tareas legales ni justifican sus composiciones de datos y formatos de entrada/salida.
• Olvido Catastrófico: Adaptar modelos generales a dominios específicos a menudo conlleva el riesgo de degradar el rendimiento en tareas generales o de no mantener la identidad del modelo (por ejemplo, responder "¿Quién eres?").
• Contexto: Si bien existe una alta demanda de IA en el sector legal coreano, falta un marco sistemático para adaptar LLMs abiertos específicamente al derecho coreano.

2. Metodología

Los autores proponen LEGALMIDM, un LLM vertical para el dominio legal coreano, construido sobre la base Mi:dm-2.0-Base (un modelo bilingüe coreano-inglés de 11.5 mil millones de parámetros). La metodología es un marco integral orientado a casos de uso, compuesto por cuatro pilares clave:

A. Investigación de Requisitos y Selección de Tareas

En lugar de un entrenamiento genérico, los autores analizaron 20 servicios operativos de tecnología legal (EE. UU. y Corea del Sur) y consultaron con abogados en ejercicio. Identificaron seis tareas de alta demanda:

1. Resumen de Documentos (DS)
2. Respuesta a Preguntas basada en Documentos (DQA)
3. Respuesta a Preguntas Abierta (Open QA)
4. Redacción de Demandas (DD)
5. Redacción de Peticiones (DD)
6. Preguntas de Opción Múltiple (MC)

B. Curación y Construcción de Datos

• Datos Curados por Humanos: Un equipo de estudiantes de derecho, profesionales de la industria y abogados construyó conjuntos de datos de alta calidad. Esto incluye 100 muestras de prueba retenidas por tarea.
• Generación Automática de Datos Sintéticos: Para escalar el volumen de datos, aprovecharon los estatutos del Centro de Información Legislativa de Corea. Utilizando GPT-4o, generaron pares de preguntas y respuestas donde se solicitó al modelo que citara disposiciones legales específicas.
  • Verificación: Un paso de verificación por coincidencia de cadenas aseguró que las referencias citadas fueran subcadenas reales de los estatutos fuente, garantizando una base factual.
• Preservación del Dominio General: Para prevenir el olvido catastrófico, los autores analizaron consultas de usuarios reales (de ChatKoAlpaca) para identificar preguntas comunes de identidad (por ejemplo, "¿Quién eres?") e incluyeron datos de dominio general (KoAlpaca, KOpen-HQ) en la mezcla de entrenamiento.

C. Pipeline de Entrenamiento

El proceso de entrenamiento involucró dos etapas con estudios de ablación específicos para determinar estrategias óptimas:

1. Pre-entrenamiento Continuo (CPT): Adaptación del modelo base al dominio legal.
2. Ajuste de Instrucciones (IT): Refinamiento del modelo para tareas específicas.

Decisiones Clave de Diseño (Validadas mediante Ablación):

• Composición de Datos: Integrar datos de dominio general (en una proporción de 7:3 de General:Legal) durante ambas etapas, CPT e IT, arrojó un rendimiento superior en comparación con entrenar únicamente con datos legales. Esto preservó las capacidades generales mientras mejoraba la especialización legal.
• Formateo de Datos Sintéticos: Los autores probaron tres formatos para las referencias legales ($R$):
  1. $M(Q) \to A$ (Sin referencia)
  2. $M(Q) \to A + R$ (Referencia en la salida)
  3. $M(Q + R) \to A$ (Referencia en la entrada)
  • Hallazgo: Si bien generar referencias en la salida funcionó bien para tareas de documentos, causó inestabilidad en preguntas de opción múltiple. La estrategia óptima fue colocar las referencias legales en la entrada ($Q + R$) para todas las tareas.
• Optimización del Prompt del Sistema: Los autores probaron el entrenamiento con y sin prompts del sistema (definiendo al modelo como "Mi:dm").
  • Hallazgo: El entrenamiento sin prompts del sistema arrojó el mejor rendimiento legal. El prompt del sistema debe aplicarse solo en el momento de la inferencia para asegurar que el modelo se identifique correctamente sin comprometer el razonamiento específico de la tarea.

3. Contribuciones Clave

1. Marco Orientado a Casos de Uso: Una receta sistemática para transformar LLMs abiertos en expertos legales, fundamentada en requisitos reales de la industria en lugar de suposiciones teóricas.
2. Modelo LEGALMIDM: El lanzamiento de un LLM legal coreano especializado de 11.5 mil millones de parámetros que supera significativamente a modelos mucho más grandes (por ejemplo, Llama-3.3-70B, Qwen2.5-32B) en benchmarks legales coreanos.
3. Validación Empírica de Estrategias de Entrenamiento:
   • Demostró que mezclar datos de dominio general es crucial para mantener la robustez.
   • Identificó que introducir referencias legales es superior a generarlas para datos sintéticos.
   • Probó que los prompts del sistema deben desacoplarse de los datos de entrenamiento y aplicarse solo durante la inferencia.
4. Construcción de Conjuntos de Datos de Alta Calidad: Un pipeline riguroso que involucra a expertos legales y verificación automatizada para crear conjuntos de datos legales con base factual.

4. Resultados

El modelo fue evaluado en seis tareas legales y dos benchmarks generales (KMMLU, HAERAE).

• Rendimiento Legal: LEGALMIDM (11.5B) logró las puntuaciones más altas en todas las tareas legales (Demanda, Resumen, Petición, QA, MRC, MC).
  • Ejemplo: En la tarea de Demanda, LEGALMIDM logró una puntuación Rouge-L de 67.67, superando significativamente a Llama-3.3-70B (53.40) y Qwen2.5-32B (58.81).
  • También logró las puntuaciones más altas de juez LLM (evaluadas por GPT-4o) en todos los aspectos.
• Rendimiento General: A pesar de ser más pequeño, LEGALMIDM mantuvo un rendimiento competitivo en benchmarks generales (KMMLU, HAERAE), comparable o superior a modelos mucho más grandes, confirmando que la inclusión de datos generales previno el olvido catastrófico.
• Perspectivas de Ablación:
  • Eliminar los datos generales de CPT/IT causó una caída significativa en el rendimiento de las tareas legales.
  • Incluir referencias en la entrada ($Q+R$) superó consistentemente a otros formatos en estabilidad y precisión.

5. Significado

Este artículo aborda una brecha crítica en la implementación de la IA en el sector legal al cambiar el enfoque de "más datos" a "mejores datos alineados con casos de uso y estrategias de entrenamiento".

• Utilidad Práctica: El marco proporciona un camino reproducible para desarrollar LLMs verticales que no solo sean teóricamente capaces, sino prácticamente útiles para tareas de alto riesgo como la redacción de demandas y peticiones.
• Eficiencia: Demuestra que un modelo más pequeño y bien ajustado (11.5B) puede superar a modelos fundacionales masivos (70B+) en dominios especializados cuando el pipeline de entrenamiento está optimizado para las restricciones específicas del dominio.
• IA Legal Coreana: Llena un vacío específico en el panorama de la tecnología legal coreana, proporcionando un modelo entrenado en estatutos coreanos y contextos culturales, lo cual es esencial para un razonamiento legal preciso en esa jurisdicción.

En conclusión, LEGALMIDM establece un nuevo estándar para la especialización de dominios, demostrando que la curación rigurosa de datos, la mezcla estratégica de datos y las elecciones arquitectónicas específicas (como la referencia basada en la entrada) son más impactantes que simplemente escalar el tamaño del modelo.