Resumen Técnico: Qwen Goes Brrr – RAG de Caja para la Comprensión de Documentos Multidominio en Ucraniano

1. Definición del Problema

El artículo aborda la quinta tarea compartida UNLP, una competencia de código en Kaggle centrada en la comprensión de documentos multidominio en ucraniano. El sistema debe procesar una colección de documentos PDF y responder preguntas de opción múltiple con seis opciones. La tarea requiere tres salidas acopladas:

1. La opción de respuesta correcta (A–F).
2. El documento fuente que contiene la evidencia.
3. La página específica dentro de ese documento que fundamenta la respuesta.

Restricciones y Desafíos Clave:

• Escasez de Datos: Datos de entrenamiento específicos de la tarea limitados (40 preguntas iniciales, 461 preguntas de desarrollo) y un tercer dominio no visto en el conjunto de pruebas oculto.
• Complejidad del Documento: Las entradas son PDFs completos con formatos variados, tablas y jerarquías de secciones, lo que hace que la localización a nivel de página no sea trivial.
• Presupuesto de Ejecución: Las soluciones deben ejecutarse dentro de nueve horas en hardware de Kaggle (2×T4 GPUs) sin acceso a internet, favoreciendo pipelines eficientes sobre bucles de agentes complejos y multietapa.
• Métrica: La función de puntuación pondera la corrección de la respuesta (50%), la identificación del documento (25%) y la localización de la página (25%), donde la proximidad de la página solo cuenta si el documento es correcto.

2. Metodología

Los autores proponen una pipeline de generación aumentada por recuperación (RAG) construida en torno a tres componentes centrales: fragmentación contextual, recuperación densa consciente de la pregunta y reordenamiento consciente de la respuesta.

2.1 Fragmentación Contextual

En lugar de tratar las páginas de PDF como texto plano, los autores emplean fragmentación consciente de la estructura:

• Procesamiento: Reemplazaron la biblioteca lenta/inestable Docling con un convertidor personalizado basado en pymupdf4llm para renderizar PDFs a Markdown.
• Estructura: Cada fragmento incluye tres niveles de contexto anidados:
  1. Un prefijo global del documento (los primeros 128 tokens).
  2. La ruta actual del encabezado (contexto de sección).
  3. El cuerpo local del fragmento.
• Configuración: Los fragmentos están limitados a 512 tokens con una superposición de 64 tokens. Los estudios de ablación confirmaron que eliminar este contexto del documento causó una caída significativa en el rendimiento (puntuación pública de 0.945 a 0.861).

2.2 Recuperación Densa (Etapa 1)

• Modelo: El sistema utiliza Qwen3-Embedding-8B como recuperador principal.
• Construcción de Consultas: Las consultas se construyen a partir de la instancia completa de opción múltiple (pregunta + las seis opciones de respuesta + instrucción), en lugar de solo la pregunta.
• Estrategia de Entrenamiento: El ajuste fino del modelo de 8B en los datos específicos de la competencia no proporcionó ninguna ganancia y arriesgó el sobreajuste. El modelo preentrenado por sí solo demostró ser robusto. Los modelos más pequeños (0.6B) requirieron ajuste fino en datos auxiliares (UA-SQuAD + un nuevo corpus de 80k) para cerrar la brecha de rendimiento.
• Salida: Los 20 fragmentos superiores se pasan al reordenador.

2.3 Reordenamiento Consciente de la Opción (Etapa 2)

• Modelo: Un Qwen3-Reranker-8B ajustado finamente.
• Entrada: El reordenador recibe la pregunta concatenada con las seis opciones de respuesta. Esto permite que el modelo distinga pasajes basándose en qué alternativas específicas apoyan o refutan, en lugar de solo en la similitud temática.
• Datos de Entrenamiento: El modelo fue ajustado finamente en una combinación de:
  • 461 ejemplos de desarrollo de la competencia.
  • 16,658 pares de UA-SQuAD (QA extractiva en ucraniano).
  • Negativos duros extraídos de preguntas imposibles, errores de recuperación densa y pasajes de respuestas incorrectas confusas.
  • Un corpus de preentrenamiento auxiliar de 80,000 ejemplos (traducido desde conjuntos de datos en inglés: Natural Questions, HotpotQA, MS MARCO, GooAQ) para mejorar la generalización.
• Selección: Solo los 2 pasajes reordenados superiores se pasan al generador final.

2.4 Selección de Respuesta (Etapa 3)

• Modelo: Qwen3-32B (cuantizado con AWQ).
• Entrada: La pregunta, todas las opciones y los 2 pasajes reordenados superiores.
• Generación: El modelo está restringido a generar un solo token del alfabeto {A, B, C, D, E, F}.
• Localización: El documento y la página predichos se derivan del fragmento seleccionado de mayor rango.

3. Contribuciones Clave

1. Pipeline de Estado del Arte: Una pipeline aumentada por recuperación para la comprensión de documentos multidominio en ucraniano que integra fragmentación consciente de la estructura, recuperación consciente de la pregunta y reordenamiento consciente de la respuesta dentro de las estrictas restricciones de una competencia de código.
2. Eficacia de Caja: Demostración de que un rendimiento altamente competitivo puede lograrse utilizando principalmente modelos preentrenados con un diseño cuidadoso de la pipeline (preservando la estructura del documento y condicionando la relevancia en la instancia completa de opción múltiple) en lugar de heurísticas complejas posteriores al entrenamiento.
3. Nuevos Recursos en Ucraniano: Construcción de nuevos recursos para preguntas de opción múltiple basadas en recuperación, incluyendo:
   • Un conjunto de entrenamiento para recuperación densa y reordenamiento que combina datos de la competencia y UA-SQuAD.
   • Un corpus de preentrenamiento novedoso de 80,000 ejemplos para modelos de codificador bi y cruzado en ucraniano, derivado de conjuntos de datos en inglés traducidos.

4. Resultados

• Rendimiento en Tabla de Clasificación: El sistema final logró 0.9452 en la tabla de clasificación pública y 0.9598 en la tabla de clasificación privada.
• Impacto del Reordenamiento:
  • El reordenamiento mejoró el Recall@1 de 0.6957 a 0.7935.
  • El uso de los 2 pasajes reordenados superiores aumentó la precisión de la respuesta de 0.9348 a 0.9674.
• Perspectivas de Ablación:
  • Contexto del Documento: Eliminar el prefijo del documento de los fragmentos causó la mayor caída individual de rendimiento.
  • Tamaño del Modelo vs. Ajuste Fino: Los codificadores preentrenados más grandes (8B) funcionaron mejor directamente. El ajuste fino de modelos más pequeños (0.6B) con datos diversos (corpus de 80k + UA-SQuAD) recuperó gran parte de la brecha, pero el ajuste fino solo en datos específicos de la competencia degradó el rendimiento debido al sobreajuste.
  • Enrutamiento por Dominio: Una estrategia de enrutamiento con clasificador de dominios funcionó bien en el conjunto público (dos dominios visibles) pero falló en el conjunto privado (tercer dominio no visto), confirmando que la recuperación agnóstica al dominio es más robusta para la generalización.
  • Inyección de Resumen: Reemplazar los prefijos de documentos crudos con resúmenes generados degradó el rendimiento, lo que sugiere que las señales estructurales crudas son superiores a los resúmenes comprimidos para esta tarea.

5. Significado y Afirmaciones

El artículo afirma que para la comprensión de documentos multidominio en ucraniano, preservar la estructura del documento y hacer que la estimación de relevancia sea consciente del espacio de respuestas son más efectivos que añadir heurísticas complejas posteriores al entrenamiento o bucles de agentes.

• Eficiencia vs. Complejidad: Los autores argumentan que, bajo presupuestos de ejecución estrictos, una pipeline bien estructurada que utiliza componentes preentrenados modernos (familia Qwen3) es suficiente para lograr un rendimiento de primer nivel sin necesidad de innovaciones arquitectónicas específicas de la tarea.
• Brecha de Recursos: Al introducir el corpus de preentrenamiento de 80k y las estrategias de ajuste fino, el trabajo aborda la escasez de conjuntos de datos de recuperación de alta calidad en ucraniano, permitiendo una mejor generalización entre dominios.
• Practicidad: Los resultados sugieren que los modelos "de caja", cuando se combinan con una preparación cuidadosa de datos (fragmentación contextual) y un condicionamiento apropiado (pregunta + opciones), pueden superar a sistemas más complejos y personalizados en entornos restringidos.

Los autores señalan explícitamente que, aunque su enfoque es robusto para el entorno de la competencia, depende de modelos relativamente grandes (8B–32B) y datos auxiliares traducidos por máquina, lo que puede presentar desafíos para implementaciones de producción con requisitos de latencia más estrictos o revisión manual. Identifican los modelos de incrustación bidireccionales (por ejemplo, basados en difusión) y la fragmentación tardía como direcciones futuras prometedoras si se relajan las restricciones de computación.