Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus

Resumen Técnico: Aprovechamiento del Comportamiento de Lectura Humana para la Extracción de Frases Clave

Planteamiento del Problema
La extracción de frases clave (KPE, por sus siglas en inglés) es una tarea fundamental en la recuperación de información; sin embargo, los métodos existentes dependen predominantemente de señales internas del texto, como la frecuencia de términos, patrones sintácticos y semántica contextual. Estos enfoques pasan por alto en gran medida la conexión entre las frases clave y el comportamiento de lectura humana, específicamente cómo los lectores asignan la atención durante la comprensión. Aunque los estudios de seguimiento ocular (eye-tracking) han establecido que los patrones de fijación se correlacionan con el procesamiento cognitivo, la aplicación de estos conocimientos a la KPE se ve obstaculizada por dos factores principales: la escasez de datos de seguimiento ocular para textos académicos en chino y el alto costo del equipo tradicional de grado de laboratorio. Además, los corpus de código abierto existentes (por ejemplo, ZuCo, GECO) se basan principalmente en contenido general como noticias o novelas, careciendo de la terminología específica de dominio y las convenciones estructurales de la literatura académica, particularmente en la Bibliotecología y las Ciencias de la Información (LIS).

Metodología
Para abordar estas brechas, los autores desarrollaron un marco integral que involucra la recolección de datos, la construcción de corpus y la integración de modelos:

1. Plataforma de Recolección de Datos Ligera: El estudio utilizó un enfoque rentable basado en la cámara web, integrando la biblioteca JavaScript de código abierto SearchGazer con un backend basado en Flask. Esta plataforma permite la inferencia de la mirada en tiempo real utilizando cámaras web de consumo, eliminando la necesidad de hardware especializado.
2. Construcción del Corpus (CLIS-ET): Los autores construyeron el Corpus de Seguimiento Ocular de LIS en Chino (CLIS-ET). Los datos fueron recolectados de diez estudiantes de posgrado y de último año de licenciatura en LIS que leían 320 resúmenes de revistas centrales de LIS en chino. El experimento involucró una calibración de nueve puntos antes de cada resumen y una verificación de comprensión posterior a la lectura.
3. Extracción de Características: El estudio se centró en métricas de seguimiento ocular a nivel de carácter para evitar problemas de segmentación de palabras. Se extrajeron tres características primarias y se promediaron entre los participantes:
   • Duración de la Primera Fijación (FFD): La duración de la mirada inicial en un carácter.
   • Número de Fijaciones (FN): El recuento total de miradas a un carácter.
   • Duración Total de la Fijación (TFD): El tiempo acumulado de mirada en un carácter.
     Los datos se filtraron para retener fijaciones válidas (16.7 ms a 1500 ms), y se descartaron los datos de caracteres inválidos (donde >50% de los participantes carecían de datos válidos).
4. Integración de Modelos: Las características de seguimiento ocular se incorporaron en dos categorías de modelos de KPE:
   • Redes Neuronales Recurrentes: BiLSTM, BiLSTM+CRF, BiLSTM basado en atención (Att-BiLSTM) y Att-BiLSTM+CRF. Las características se utilizaron como entradas externas o indicadores de atención.
   • Modelos de Lenguaje Preentrenados: BERT, RoBERTa, MacBERT y Randeng-T5-784M.
5. Evaluación: Los experimentos se realizaron en dos conjuntos de datos: un conjunto de datos de seguimiento ocular más pequeño (Abstract-320) y un conjunto de datos de KPE general más grande (Abstract-5190) derivado de las mismas fuentes de revistas. El rendimiento se evaluó utilizando puntuaciones F1 en las extracciones de las mejores 3, 5 y 10 frases clave.

Contribuciones Clave

1. Método de Recolección de Datos Accesible: El artículo introduce una plataforma ligera y escalable para recolectar datos de seguimiento ocular utilizando cámaras web estándar, reduciendo significativamente la barrera para la investigación del comportamiento de lectura específico de un dominio.
2. Corpus CLIS-ET: El lanzamiento del primer corpus de seguimiento ocular específico de dominio para resúmenes académicos de LIS en chino, proporcionando métricas a nivel de carácter (FFD, FN, TFD) para la investigación cognitiva de KPE.
3. Validación Empírica de Señales Cognitivas: El estudio evalúa sistemáticamente cómo las características de seguimiento ocular individuales y combinadas influyen en el rendimiento de la KPE a través de diversas arquitecturas de modelos, demostrando que el comportamiento de lectura humana proporciona señales complementarias a las características textuales.

Resultados

• Eficacia de las Características: La integración de las características de seguimiento ocular mejoró consistentemente el rendimiento de la KPE en ambos conjuntos de datos y tipos de modelos.
  • En el conjunto de datos Abstract-320, la característica FFD produjo la mejora más significativa para los modelos basados en BERT (hasta +2.83%).
  • En el conjunto de datos más grande Abstract-5190, la característica FN combinada con RoBERTa logró el mayor rendimiento (44.51% F1@5).
• Combinaciones de Características: La combinación de Número de Fijación y Duración Total de la Fijación (FN+TFD) logró el mejor rendimiento en el modelo Att-BiLSTM+CRF. Generalmente, las combinaciones de FFD+FN y FN+TFD proporcionaron mejoras más estables que el uso de características únicas o el triplete completo (FFD+FN+TFD).
• Significancia Estadística: Las pruebas t de muestras pareadas en el conjunto de datos Abstract-320 confirmaron que las características de seguimiento ocular ejercen efectos estadísticamente significativos en múltiples arquitecturas. Específicamente, FN+TFD y FFD+TFD mostraron una significancia constante, lo que sugiere que la frecuencia de fijación y la duración capturan aspectos complementarios del comportamiento de lectura.
• Efectos de la Escala del Conjunto de Datos: El estudio observó que las características de procesamiento temprano (como FFD) ofrecen una mayor ganancia de información cuando los datos son limitados, mientras que las características de procesamiento acumulativo (como TFD) apoyan mejor el modelado semántico profundo en conjuntos de datos más grandes.

Significancia y Reivindicaciones
El artículo sostiene que la incorporación del comportamiento de lectura humana en los modelos computacionales cierra la brecha entre las heurísticas estadísticas y los procesos cognitivos. Al demostrar que el seguimiento ocular ligero basado en cámaras web puede mejorar eficazmente la KPE, los autores abogan por un enfoque más accesible y rentable para la recolección de datos cognitivos para el PLN. Los hallazgos sugieren que las características de seguimiento ocular sirven como valiosas señales auxiliares que reflejan la profundidad del procesamiento semántico y la importancia de los ítems léxicos, mejorando así la interpretabilidad y el rendimiento de los sistemas de extracción de frases clave. El estudio posiciona este trabajo como un paso hacia la construcción de herramientas de recuperación de información centradas en el humano que se alineen más estrechamente con los patrones reales de atención del lector.