CQ-Transformer: A Query Decomposition Framework with ALBERT-Based Semantic Matching for Complex Extractive Question Answering

Resumen Técnico: CQ-Transformer

Planteamiento del Problema
Los sistemas de Respuesta a Preguntas (QA) basados en Transformers existentes, incluyendo modelos fundacionales como BERT y sus derivados, enfrentan limitaciones significativas al procesar consultas complejas de múltiples categorías y dependencias contextuales de largo alcance. Estos modelos frecuentemente producen extracciones de respuestas ambiguas o incompletas en tales escenarios. Mientras que los enfoques de QA extractivo estándar sobresalen en la extracción de un solo segmento (single-span), tienen dificultades para descomponer preguntas polifacéticas en componentes discretos o para mantener la coherencia a través de secuencias de texto extendidas, lo que conduce a una degradación del rendimiento en tareas de recuperación de información complejas del mundo real.

Metodología
El artículo propone CQ-Transformer, un marco híbrido de QA diseñado para abordar estas limitaciones a través de un flujo de trabajo de tres etapas: descomposición de la consulta, emparejamiento semántico y extracción de segmentos.

1. Descomposición de la Consulta (Función de División - Split Function): El marco introduce una función de división basada en delimitadores que procesa consultas complejas de múltiples categorías. Al utilizar delimitadores como comas, "y" (and) y signos de interrogación, el sistema descompone una única consulta compleja en subconsultas discretas de categoría única. Esto permite al sistema manejar preguntas de múltiples saltos (multi-hop) o polifacéticas que los modelos estándar tratan como entradas monolíticas.
2. Emparejamiento de Similitud Semántica (ALBERT): Una vez descompuesta, cada subconsulta se somete a un filtrado de relevancia a nivel de oración. El marco emplea un modelo ALBERT (A Lite BERT) pre-entrenado para calcular la similitud semántica entre cada subconsulta y las oraciones dentro del pasaje de contexto. ALBERT es seleccionado por sus mecanismos de uso compartido de parámetros, que reducen la complejidad del modelo y el uso de memoria mientras mantienen una fuerte comprensión semántica. El sistema identifica la oración más relevante para cada subconsulta para servir como el contexto enfocado para la siguiente etapa.
3. Extracción de Segmentos (RoBERTa/XLNet): Las subconsultas seleccionadas y sus correspondientes oraciones relevantes se introducen en codificadores pre-entrenados —específicamente RoBERTa y XLNet. Estos modelos tokenizan la entrada, generan embeddings y predicen los límites de inicio y fin de los segmentos de la respuesta. El marco utiliza una función argmax para seleccionar los límites de segmento más probables. Finalmente, los segmentos de respuesta extraídos de todas las subconsultas se agregan en una respuesta unificada.

El sistema se evalúa utilizando el conjunto de datos SQuAD 2.0, que incluye preguntas con y sin respuesta, utilizando métricas como Exact Match (EM) y la puntuación F1.

Contribuciones Clave
Los autores identifican tres contribuciones primarias:

• Marco Híbrido: La integración de RoBERTa y XLNet con un mecanismo de descomposición de consultas y un emparejamiento semántico basado en ALBERT para abordar la ambigüedad y las dependencias de largo alcance.
• Mecanismo de Descomposición de Consultas: La introducción de una función de división específica que desglosa consultas complejas de múltiples categorías en subconsultas de categoría única, un paso que suele omitirse en estudios previos que procesan las consultas de forma holística.
• Emparejamiento Basado en ALBERT: La sustitución de métodos de similitud convencionales (como la similitud de coseno o el emparejamiento basado en LSTM) por un módulo de similitud semántica basado en ALBERT para identificar con mayor precisión la oración más relevante para cada categoría de consulta.

Resultados
La evaluación experimental en el conjunto de datos SQuAD 2.0 demuestra que el marco propuesto supera significativamente a los modelos de referencia (baselines):

• Variante RoBERTa-CQ: Logró una puntuación F1 del 87.95% y un Exact Match (EM) del 84.96%. Esto representa una mejora sustancial sobre el BERT base (F1: 66.36%, EM: 57.85%), el RoBERTa estándar (F1: 82.58%, EM: 76.58%) y XLNet (F1: 68.14%, EM: 65.45%).
• Variante XLNet-CQ: Alcanzó una puntuación F1 del 77.49% y un EM del 74.79%, superando también a sus respectivos modelos de referencia.
• Análisis Cualitativo: El artículo señala que, mientras que los modelos base a menudo fallan por completo o proporcionan respuestas incompletas ante consultas complejas de múltiples categorías, el marco CQ-Transformer resuelve eficazmente estas incertidumbres abordando cada categoría de consulta individualmente.

Significancia y Reivindicaciones
El artículo afirma que el marco CQ-Transformer ofrece una solución escalable y de alto rendimiento para tareas de QA extractivo del mundo real, particularmente donde las consultas son complejas y requieren un razonamiento de múltiples pasos. Al resolver eficazmente las consultas de múltiples categorías y las dependencias de largo alcance, el marco demuestra potencial para su despliegue en sistemas de información inteligentes, tales como motores de búsqueda empresarial, consulta de bases de conocimiento y plataformas de atención al cliente automatizadas.

Los autores mantienen una postura modesta respecto al trabajo futuro, señalando que el estudio actual se centra en el QA extractivo. Proponen que las investigaciones futuras explorarán la generalizabilidad del marco en otros conjuntos de datos (por ejemplo, TriviaQA, Natural Questions), la integración de modelos generativos para la generación de respuestas de texto libre y extensiones para soportar QA multilingüe. El estudio enfatiza que las mejoras propuestas derivan de la combinación específica de la descomposición de consultas y el emparejamiento semántico, más que únicamente de los modelos pre-entrenados subyacentes.