Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus

Sintesi Tecnica: Sfruttare il Comportamento di Lettura Umana per l'Estrazione di Chiavi-frasi

Definizione del Problema
L'estrazione di chiavi-frasi (KPE) è un compito fondamentale nel recupero delle informazioni, tuttavia i metodi esistenti si affidano prevalentemente a indizi interni al testo come la frequenza dei termini, i pattern sintattici e la semantica contestuale. Questi approcci trascurano ampiamente il collegamento tra le chiavi-frasi e il comportamento di lettura umana, specificamente come i lettori allocano l'attenzione durante la comprensione. Sebbene gli studi di eye-tracking abbiano stabilito che i pattern di fissazione correlano con l'elaborazione cognitiva, l'applicazione di queste intuizioni alla KPE è ostacolata da due fattori principali: la scarsità di dati di eye-tracking per i testi accademici cinesi e l'alto costo delle tradizionali apparecchiature di eye-tracking di grado di laboratorio. Inoltre, i corpora open-source esistenti (ad es. ZuCo, GECO) si basano principalmente su contenuti generali come notizie o romanzi, mancando della terminologia specifica del dominio e delle convenzioni strutturali della letteratura accademica, in particolare della Biblioteconomia e della Scienza dell'Informazione (LIS).

Metodologia
Per affrontare queste lacune, gli autori hanno sviluppato un framework completo che comprende la raccolta dei dati, la costruzione del corpus e l'integrazione del modello:

1. Piattaforma di Raccolta Dati Leggera: Lo studio ha utilizzato un approccio basato su webcam, economico e integrato con la libreria JavaScript open-source SearchGazer con un backend basato su Flask. Questa piattaforma consente l'inferenza del gaze in tempo reale utilizzando webcam di consumo, eliminando la necessità di hardware specializzato.
2. Costruzione del Corpus (CLIS-ET): Gli autori hanno costruito il Corpus di Eye-Tracking LIS Cinese (CLIS-ET). I dati sono stati raccolti da dieci studenti laureati e studenti magistrali senior di LIS che leggevano 320 abstract di riviste centrali di LIS cinesi. L'esperimento prevedeva una calibrazione a nove punti prima di ogni abstract e un controllo post-lettura della comprensione.
3. Estrazione delle Caratteristiche: Lo studio si è concentrato sulle metriche di eye-tracking a livello di carattere per evitare problemi di segmentazione delle parole. Sono state estratte e medie tra i partecipanti tre caratteristiche primarie:
   • Durata della Prima Fissazione (FFD): La durata della prima sosta dello sguardo su un carattere.
   • Numero di Fissazioni (FN): Il conteggio totale degli sguardi su un carattere.
   • Durata Totale della Fissazione (TFD): Il tempo cumulativo trascorso a fissare un carattere.
     I dati sono stati filtrati per trattenere le fissazioni valide (da 16,7 ms a 1500 ms), e i dati dei caratteri non validi (dove >50% dei partecipanti non presentava dati validi) sono stati scartati.
4. Integrazione del Modello: Le caratteristiche di eye-tracking sono state incorporate in due categorie di modelli KPE:
   • Reti Neurali Ricorrenti: BiLSTM, BiLSTM+CRF, BiLSTM basato su Attention (Att-BiLSTM) e Att-BiLSTM+CRF. Le caratteristiche sono state utilizzate come input esterni o indicatori di attenzione.
   • Modelli di Linguaggio Pre-addestrati: BERT, RoBERTa, MacBERT e Randeng-T5-784M.
5. Valutazione: Gli esperimenti sono stati condotti su due dataset: un dataset di eye-tracking più piccolo (Abstract-320) e un dataset KPE generale più grande (Abstract-5190) derivato dalle stesse fonti giornalistiche. Le prestazioni sono state valutate utilizzando gli F1 score ai top-3, top-5 e top-10 delle estrazioni di chiavi-frasi.

Contributi Chiave

1. Metodo di Raccolta Dati Accessibile: Il documento introduce una piattaforma leggera e scalabile per la raccolta di dati di eye-tracking utilizzando webcam standard, abbassando significativamente la barriera per la ricerca sul comportamento di lettura specifico del dominio.
2. Corpus CLIS-ET: Il rilascio del primo corpus di eye-tracking specifico del dominio per gli abstract accademici LIS cinesi, fornendo metriche a livello di carattere (FFD, FN, TFD) per la ricerca cognitiva sulla KPE.
3. Validazione Empirica dei Segnali Cognitivi: Lo studio valuta sistematicamente come le singole e le combinate caratteristiche di eye-tracking influenzino le prestazioni della KPE attraverso varie architetture di modelli, dimostrando che il comportamento di lettura umana fornisce segnali complementari alle caratteristiche testuali.

Risultati

• Efficacia delle Caratteristiche: L'integrazione delle caratteristiche di eye-tracking ha migliorato costantemente le prestazioni della KPE in entrambi i dataset e i tipi di modello.
  • Sul dataset Abstract-320, la caratteristica FFD ha prodotto il miglioramento più significativo per i modelli basati su BERT (fino al +2,83%).
  • Sul dataset più grande Abstract-5190, la caratteristica FN combinata con RoBERTa ha raggiunto le prestazioni più elevate (44,51% F1@5).
• Combinazioni di Caratteristiche: La combinazione di Numero di Fissazione e Durata Totale della Fissazione (FN+TFD) ha ottenuto la migliore prestazione sul modello Att-BiLSTM+CRF. In generale, le combinazioni di FFD+FN e FN+TFD hanno fornito miglioramenti più stabili rispetto all'uso di singole caratteristiche o del tripletto completo (FFD+FN+TFD).
• Significatività Statistica: I t-test accoppiati sul dataset Abstract-320 hanno confermato che le caratteristiche di eye-tracking esercitano effetti statisticamente significativi attraverso molteplici architetture. Nello specifico, FN+TFD e FFD+TFD hanno mostrato una significatività costante, suggerendo che la frequenza di fissazione e la durata catturano aspetti complementari del comportamento di lettura.
• Effetti della Scala del Dataset: Lo studio ha osservato che le caratteristiche di elaborazione precoce (come FFD) offrono un guadagno informativo maggiore quando i dati sono limitati, mentre le caratteristiche di elaborazione cumulativa (come TFD) supportano meglio la modellazione semantica profonda in dataset più grandi.

Significato e Rivendicazioni
Il documento sostiene che l'incorporazione del comportamento di lettura umana nei modelli computazionali colmi il divario tra euristiche statistiche e processi cognitivi. Dimostrando che l'eye-tracking leggero basato su webcam può effettivamente potenziare la KPE, gli autori sostengono un approccio più accessibile e meno costoso per la raccolta di dati cognitivi per l'NLP. I risultati suggeriscono che le caratteristiche di eye-tracking fungono da preziosi segnali ausiliari che riflettono la profondità dell'elaborazione semantica e l'importanza degli elementi lessicali, migliorando così l'interpretabilità e le prestazioni dei sistemi di estrazione di chiavi-frasi. Lo studio posiziona questo lavoro come un passo verso la costruzione di strumenti di recupero delle informazioni centrati sull'uomo che si allineano più strettamente ai reali pattern di attenzione del lettore.