Resumen Técnico: DistilledGemma para la Extracción de Relaciones Persona-Lugar

Definición del Problema

El artículo aborda el desafío de la Extracción de Relaciones Persona-Lugar en artículos de periódicos históricos multilingües, específicamente dentro del contexto de la tarea compartida HIPE-2026. El objetivo es clasificar la relación entre las entidades de persona y lugar extraídas en textos en inglés, alemán y francés. La tarea consiste en predecir dos relaciones específicas:

1. at: Si la persona ha estado asociada alguna vez con el lugar (etiquetas: TRUE, PROBABLE, FALSE).
2. isAt: Si la persona se encuentra en el lugar dentro del horizonte temporal inmediato del artículo (etiquetas: TRUE, FALSE).

La tarea presenta obstáculos significativos, incluyendo:

• Texto OCR con ruido: Los documentos históricos contienen errores frecuentes de reconocimiento óptico de caracteres que degradan la calidad de las menciones de las entidades.
• Desequilibrio de clases: Las etiquetas negativas dominan el conjunto de datos (aprox. 55% para at y 78% para isAt), lo que sesga los modelos hacia predicciones falsas.
• Razonamiento multilingüe: Los modelos deben actuar de manera consistente a través de tres lenguas tipológicamente diversas con disponibilidad de datos variables.
• Evidencia implícita: Muchas conexiones están implícitas en lugar de ser explícitas, lo que requiere conocimiento del mundo e inferencia contextual.

Aunque los Modelos de Lenguaje de Gran Escala (LLMs) muestran potencial, desplegar modelos con suficiente capacidad (por ejemplo, 26B+ de parámetros) para procesar millones de documentos históricos es computacionalmente impráctico. La pregunta central de la investigación es si las capacidades de extracción de relaciones de un LLM grande y ajustado pueden destilarse en un modelo más pequeño adecuado para el despliegue práctico sin una pérdida catastrófica de rendimiento.

Metodología

Los autores proponen DistilledGemma, un pipeline de destilación de conocimiento de tres etapas diseñado para equilibrar la precisión de la clasificación con la eficiencia computacional.

Etapa 1: Selección del Modelo e Ingeniería de Prompts

Los autores evaluaron sistemáticamente ocho configuraciones de LLM a través de cuatro familias (Gemma, Qwen, Mistral, HY-MT) utilizando diversas estrategias de ingeniería de prompts.

• Diseño de Prompts: Se probaron cinco variantes de prompts, resultando más efectiva la plantilla de Cadena de Pensamiento (Chain-of-Thought - CoT). Este prompt enmarca al modelo como un historiador, define explícitamente las relaciones at e isAt, impone restricciones lógicas (por ejemplo, si isAt es TRUE, at debe ser TRUE) y requiere salidas en formato JSON concisas y fundamentadas en la evidencia.
• Selección: El modelo Gemma 4 26B A4B fue seleccionado como el "maestro" debido a su superior recall macro-promediado zero-shot (0.7255) y su alineación con la familia del estudiante objetivo.

Etapa 2: Ajuste Fino del Maestro y Generación de Datos de Plata (Silver Data)

El modelo maestro seleccionado fue ajustado mediante QLoRA (Quantized Low-Rank Adaptation) utilizando los datos de entrenamiento de HIPE.

• Configuración: LoRA rank $r=32$, $\alpha=64$, aplicado a todas las proyecciones de atención y MLP. El entrenamiento se realizó durante 3 épocas con un tamaño de lote de 32 (vía acumulación de gradientes).
• Generación de Datos: El maestro ajustado generó datos de entrenamiento de estándar de plata (silver-standard) para todo el corpus. Crucialmente, estas salidas incluyeron no solo las etiquetas predichas, sino también explicaciones de Cadena de Pensamiento (CoT), capturando el proceso de razonamiento detrás de cada decisión.

Etapa 3: Destilación del Estudiante

Un modelo compacto Gemma 4 E2B (aproximadamente 2.3B de parámetros) actuó como el "estudiante".

• Estrategia de Entrenamiento: El estudiante fue entrenado con los datos de plata generados por el maestro utilizando QLoRA ($r=16, \alpha=32$) durante 6 épocas.
• Enfoque de Destilación: Se trató de una destilación a nivel de respuesta, donde el estudiante aprendió a imitar los patrones de razonamiento estructurado y las salidas de etiquetas del maestro, en lugar de entrenar únicamente con etiquetas de oro (gold labels).
• Despliegue: Los adaptadores LoRA se fusionaron con el modelo base para la inferencia, resultando en un modelo de 2.3B de parámetros desplegable.

Post-procesamiento

Para abordar el desequilibrio de clases y asegurar la consistencia semántica, se aplicó un paso de post-procesamiento basado en reglas a todas las salidas. Este impuso:

1. Compatibilidad de tipo de entidad.
2. Restricciones de dirección de la relación (persona-a-lugar).
3. Patrones de disparadores contextuales.
4. Restricciones lógicas (específicamente, isAt=TRUE implica at=TRUE).

Resultados Clave

El sistema, enviado por el equipo "WHEREAMI", logró los siguientes resultados en la evaluación oficial de HIPE-2026:

• Perfil de Precisión Estándar: Clasificado en 3.er lugar con un puntaje de perfil medio de 0.688.
• Perfil de Precisión Binaria: Clasificado en 2.º lugar con un puntaje de perfil medio de 0.8156.
• Perfil de Eficiencia-Precisión Balanceado: Clasificado en 2.º lugar tanto en los conjuntos de prueba estándar como en los binarios.

Efectividad de la Destilación:

• El modelo estudiante destilado de 2.3B recuperó aproximadamente el 88% del rendimiento de recall macro-promediado del maestro de 26B.
• Esto se logró con una reducción de 11 veces en el recuento de parámetros desplegados.
• El estudiante destilado superó a varios modelos zero-shot más grandes (ej. Qwen3.5 9B y Gemma 4 E4B) en recall macro-promediado, validando que la destilación puede cerrar la brecha de rendimiento entre modelos pequeños y grandes.

Eficiencia:

• El modelo estudiante de 2.3B puede servirse en una sola GPU de consumo (<8 GB de VRAM), procesando ~50 pares por segundo.
• En contraste, el maestro de 26B requiere hardware de alta memoria y se utilizó únicamente de forma offline para la generación de datos.

Significado y Reivindicaciones

El artículo afirma que DistilledGemma proporciona una solución práctica y escalable para el procesamiento de documentos históricos. Su principal significancia radica en demostrar que:

1. La Destilación de Conocimiento es Viable para el NLP Histórico: Es posible transferir capacidades de razonamiento complejas de un LLM grande y ajustado a un modelo compacto sin una degradación significativa del rendimiento.
2. La Transferencia de Razonamiento Importa: Entrenar con las trazas de Cadena de Pensamiento del maestro (destilación a nivel de respuesta) permite al estudiante aprender patrones de inferencia estructurados, lo cual es más efectivo que entrenar solo con etiquetas, particularmente para tareas que requieren una evaluación de evidencia matizada.
3. Compromiso Eficiencia-Precisión: El enfoque logra un rendimiento competitivo en la extracción de relaciones multilingües sin los costos computacionales excesivos asociados con el despliegue de modelos de 26B+ parámetros, haciéndolo adecuado para pipelines de humanidades digitales a gran escala.

Los autores concluyen que, si bien los modelos grandes dominan en entornos zero-shot, un pipeline de destilación cuidadosamente diseñado ofrece un equilibrio superior para escenarios de despliegue en el mundo real donde los recursos computacionales están limitados.