Temporal Relation Extraction in Clinical Texts: A Span-based Graph Transformer Approach

Resumen Técnico: GRAPHTREX – Un enfoque de Transformer de Grafos basado en Spans para la Extracción de Relaciones Temporales Clínicas

Declaración del Problema
La extracción de relaciones temporales a partir de texto clínico no estructurado es fundamental para contextualizar los eventos del paciente, comprender la patología de las enfermedades y permitir aplicaciones posteriores, como el cribado oportunista de afecciones crónicas como la diabetes tipo 2. Sin embargo, esta tarea enfrenta tres desafíos principales:

1. Complejidad del Dominio: El texto clínico contiene vocabulario especializado, expresiones temporales únicas (p. ej., "tres días postoperatorio") y abreviaturas ambiguas que requieren una interpretación contextual.
2. Limitaciones Secuenciales: Los enfoques de pipeline tradicionales (extraer entidades, luego clasificar relaciones) luchan con las interacciones complejas entre entidades y la lógica temporal, lo que a menudo conduce a la propagación de errores. También fallan al capturar dependencias de largo alcance debido a la complejidad cuadrática del contexto a nivel de documento.
3. Escasez de Datos y Longitud: Las notas clínicas son documentos largos con historias extensas, pero los modelos basados en transformers tienen limitaciones en la longitud del contexto. Además, los corpora anotados de alta calidad con relaciones temporales son escasos debido a las regulaciones de privacidad y al costo de la anotación experta.

Metodología: GRAPHTREX
Los autores proponen GRAPHTREX (Extracción de Relaciones Temporales Basada en Grafos), un marco de extremo a extremo que integra la extracción de entidades basada en spans con Transformers de Grafos Heterogéneos (HGT) para capturar dependencias locales y globales. El método opera en tres etapas:

1. Representaciones Conscientes del Dominio (SPANTREX):

   • El modelo emplea un enfoque basado en spans utilizando BioMedBERT, un modelo de lenguaje preentrenado y ajustado en artículos biomédicos, para manejar la tokenización específica del dominio (p. ej., reconocer "creatinina" como un solo token).
   • Enumera todos los spans de tokens contiguos hasta una longitud de $k=7$.
   • Las representaciones de los spans se construyen mediante la concatenación del embedding del token de inicio, el token de fin y los embeddings de ancho del span.
   • Un decodificador de entidades clasifica los spans en tipos (p. ej., TRATAMIENTO, PROBLEMA, TimEx), y un decodificador de relaciones clasifica pares de entidades en relaciones temporales (Antes, Después, Solapamiento o Sin Relación).
   • Para mejorar la clasificación de relaciones, el modelo incorpora el contexto entre los spans de las entidades (vía max-pooling) y los tipos de entidades predichos en la representación del par.

2. Construcción de un Grafo Heterogéneo a Nivel de Documento:

   • Para abordar las limitaciones de los documentos largos, el sistema construye un Grafo Heterogéneo (HG) donde los nodos representan entidades y las aristas representan relaciones temporales de alta confianza inferidas por SPANTREX.
   • Tipos de Nodos:
     • Nodos de Entidad: Representan eventos clínicos y expresiones de tiempo predichas.
     • Nodos de Contexto: Capturan el contexto agrupado entre pares de spans dentro de una distancia de tokens específica para mitigar el sobresuavizado (over-smoothing).
     • Nodos de Ventana (Hitos): Actúan como hitos globales que representan segmentos del documento. Estos nodos se conectan a los nodos de entidad dentro de su ventana y a las ventanas adyacentes secuencialmente, facilitando la propagación de información a través de partes distantes del documento.
   • Tipos de Aristas: Las aristas dirigidas representan el orden temporal (Antes/Después), mientras que las aristas no dirigidas representan solapamientos. Las aristas se filtran mediante un umbral de confianza para asegurar que solo las predicciones de alta confianza se propaguen inicialmente.

3. Refinamiento mediante Redes Neuronales de Grafos (HGT):

   • El grafo construido se procesa utilizando un Transformer de Grafos Heterogéneos (HGT). A diferencia de los GNN estándar, el HGT tiene en cuenta las distribuciones de tipos de nodos y aristas.
   • A través del paso de mensajes, el módulo HGT agrega información de vecindarios locales (vía nodos de Contexto) y vecindarios globales (vía nodos de Ventana).
   • Las representaciones resultantes, mejoradas estructuralmente, se combinan con los embeddings originales de los spans (mediante un residual ponderado) y se retroalimentan al decodificador de relaciones para refinar las predicciones, permitiendo la inferencia de relaciones de largo alcance que no estaban explícitamente presentes en las predicciones iniciales basadas en spans.

Contribuciones Clave

• Arquitectura Novedosa: Introducción de GRAPHTREX, que combina de manera única la extracción basada en spans con HGT para modelar dependencias temporales a nivel de documento.
• Hitos Globales: El uso de "nodos de Ventana" como hitos globales permite al modelo conectar entidades distantes, abordando eficazmente el desafío de la inferencia de relaciones de largo alcance en documentos clínicos extensos.
• Rendimiento de Vanguardia: El método establece nuevos resultados de vanguardia (state-of-the-art) en el corpus del Desafío de Relaciones Temporales I2B2 2012.
• Generalizabilidad: El enfoque demuestra un sólido rendimiento en el corpus E3C, un conjunto de datos más pequeño y recientemente publicado, lo que indica robustez a través de diferentes distribuciones de datos clínicos.

Resultados

• Corpus I2B2 2012: GRAPHTREX logró un F1 de Tempeval del 68.81%, lo que representa una mejora del 5.45% sobre la mejor línea base anterior (Xu et al., 2013) y una mejora del 2.18% sobre su propia línea base basada en spans (SPANTREX).
• Relaciones de Largo Alcance: El modelo mostró ganancias significativas en la inferencia de relaciones a través de los límites de los documentos. Específicamente, mejoró el F1 en un 8.9% para pares de entidades separados por más de una ventana en comparación con la línea base basada en spans.
• Corpus E3C: En el dataset E3C, GRAPHTREX logró un F1 del 23.48% para relaciones temporales, superando a SPERT (13.63%) y SPANTREX (22.55%).
• Estudios de Ablación: Los experimentos confirmaron que la inclusión de los nodos de Contexto y los nodos de Ventana es mutuamente beneficiosa. Eliminar el componente de grafo (revirtiendo a SPANTREX) o eliminar tipos de nodos específicos resultó en una degradación del rendimiento, validando la necesidad de la estructura de grafo heterogéneo.

Significancia y Reivindicaciones
El artículo postula que GRAPHTREX hace avanzar el campo de la extracción de información temporal al ir más allá de las limitaciones de contexto local inherentes a los modelos de transformer estándar. Al estructurar la tarea de extracción como un problema de grafos con hitos globales, el modelo puede inferir cadenas temporales complejas y de largo alcance (p. ej., inferir que un síntoma apareció antes de una prueba diagnóstica realizada mucho después en el documento), las cuales son esenciales para cronologías precisas de pacientes.

Los autores afirman que este trabajo sienta las bases para mejorar los modelos diagnósticos y pronósticos. Específicamente, destacan su potencial para facilitar el cribado oportunista de afecciones crónicas (como la diabetes tipo 2) mediante la identificación precisa de factores de riesgo dentro de notas clínicas no estructuradas, mejorando así la equidad en la atención médica para pacientes que pueden no tener chequeos regulares. Los autores enfatizan que el sistema está diseñado para apoyar la toma de decisiones clínicas y la supervisión humana, en lugar de actuar como una herramienta de diagnóstico autónoma.