Resumen Técnico: Atención Guiada por Grafos de Dependencia Heterogénea para el Aprendizaje de Representación de Patentes

Enunciado del Problema

Los modelos de lenguaje preentrenados (PLM) han avanzado la clasificación y recuperación de patentes al codificar las reivindicaciones como secuencias planas de tokens. Sin embargo, este enfoque pasa por alto la jerarquía de dependencia dirigida inherente entre las reivindicaciones de una patente. En los documentos de patentes, las reivindicaciones dependientes heredan limitaciones de las reivindicaciones antecedentes y añaden detalles técnicos más específicos, creando una estructura donde el texto adyacente no está necesariamente relacionado, mientras que las reivindicaciones distantes pueden estar conectadas directamente mediante referencias de dependencia.

Los codificadores actuales basados en PLM (por ejemplo, BERT-for-Patents, PatentBERT) operan a nivel de token, capturando correlaciones semánticas pero fallando en codificar dependencias legales explícitas. Esta confluencia de reivindicaciones estructuralmente próximas pero no relacionadas difumina el alcance legal y las dependencias técnicas. Además, incorporar la jerarquía en la autoatención presenta dos desafíos específicos:

1. Fiabilidad Heterogénea: Las dependencias de las reivindicaciones implican tipos de relación con fiabilidad variable. Tratar indiscriminadamente las relaciones técnicas ruidosas con señales limpias de citación legal puede corromper la representación.
2. Incompatibilidad de Granularidad: Cuando se definen sobre reivindicaciones, los grafos de dependencia no se alinean con la operación a nivel de token de los Transformers. Difundir la adyacencia a nivel de reivindicación puede diluir la información estructural a través de pares de tokens no relacionados.

Los enfoques basados en grafos existentes a menudo tratan la estructura como supervisión externa o entrada auxiliar a nivel de documento, en lugar de inyectar dependencias a nivel de reivindicación directamente en el flujo de representación del codificador.

Metodología: PHAGE

Los autores proponen el Codificador de Grafos Guiado por Atención Heterogénea de Patentes (PHAGE), un modelo que integra la estructura de dependencia a nivel de reivindicación directamente en el mecanismo de autoatención de un codificador preentrenado. El marco opera en tres etapas:

1. Construcción del Grafo de Dependencia de Reivindicaciones Heterogéneo (CDG)

PHAGE construye un Grafo Acíclico Dirigido (DAG) determinista y heterogéneo $G = (V, E, \psi)$ donde los nodos son reivindicaciones y las aristas representan dependencias. El conjunto de aristas se categoriza en cuatro tipos de relación distintos para manejar la fiabilidad variable de la extracción:

• $r_{cite}$ (Citación Explícita): Derivada de referencias legales formales (por ejemplo, "El método de la reivindicación 1..."). Estas son casi deterministas.
• $r_{term}$ (Flujo de Términos Técnicos): Rastrea la introducción de frases nominales técnicas (artículos indefinidos) y su referencia posterior (artículos definidos/demonstrativos).
• $r_{func}$ (Acoplamiento Funcional): Captura relaciones funcionales mediante el análisis sintáctico de tripletes verbo-objeto (por ejemplo, "acoplar", "conectar").
• $r_{both}$: Asignada cuando coexisten señales de flujo de términos y acoplamiento funcional, sirviendo como una señal de alta confianza.

El grafo se representa mediante matrices de adyacencia distintas $\{A^{(r)}\}$ para cada tipo de relación, permitiendo que el modelo aprenda pesos diferenciales para cada una.

2. Mecanismo de Atención Consciente de la Relación

PHAGE inyecta el CDG en el mecanismo de autoatención de un codificador Transformer (específicamente BERT-for-Patents) utilizando dos componentes:

• Máscara de Conectividad ($C$): Una puerta estructural rígida que restringe la atención a reivindicaciones estructuralmente relacionadas. Si un par de tokens $(u, v)$ no corresponde a un par de reivindicaciones conectadas en el CDG, la puntuación de atención se enmascara a $-\infty$. El token [CLS] está exento para asegurar una agregación a nivel de documento sin restricciones.
• Sesgo Consciente de la Relación Aprendizable ($B^{(l)}$): Un conjunto ligero de parámetros escalares aprendizables añadidos a los logits de atención. Estos sesgos se condicionan al tipo de arista específico ($r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$) y a la profundidad de la capa $l$. Esto permite que el modelo module la fuerza del flujo de información basándose en la semántica de la dependencia sin aumentar significativamente la capacidad del modelo (solo 5 parámetros escalares por capa).

3. Ajuste Fino Contrastivo de Doble Granularidad

Para refinar el espacio de incrustación, PHAGE emplea una función objetivo conjunta que combina dos niveles de supervisión:

• Objetivo a Nivel de Documento ($L_{doc}$): Alinea las representaciones de patentes basándose en la taxonomía de la Clasificación Internacional de Patentes (IPC) utilizando una pérdida contrastiva (uniendo patentes en la misma subclase y separando subclases diferentes).
• Objetivo a Nivel de Reivindicación ($L_{claim}$): Fundamentado en el CDG, esta pérdida impone proximidad topológica entre reivindicaciones. Crucialmente, asigna pesos aprendizables $w_r$ a cada tipo de relación, permitiendo que el modelo calibre la presión de alineación basándose en la fiabilidad del tipo de arista.

La pérdida final es $L = L_{doc} + \lambda L_{claim}$.

Contribuciones Clave

1. Topología de Reivindicaciones Intra-documento como Sesgo Inductivo: Los autores identifican que la jerarquía de dependencia dirigida entre reivindicaciones es una señal informativa descartada por los codificadores existentes. PHAGE inyecta esta topología directamente en el flujo de representación del codificador en lugar de tratarla como entrada auxiliar.
2. Codificador de Patentes con Inyección de Topología: Una arquitectura novedosa que combina una tubería de construcción de grafos heterogéneos determinista con una máscara de conectividad y sesgos conscientes de la relación aprendizables para integrar dependencias a nivel de reivindicación en la autoatención.
3. Hallazgo Empírico sobre el Sesgo Inductivo Estructural: Los experimentos demuestran que la topología de reivindicaciones intra-patente proporciona un sesgo inductivo más fuerte que las estructuras de citación inter-patente. Además, los priores estructurales aprendidos se internalizan en los pesos del modelo, permitiendo que el modelo funcione eficazmente en la inferencia sin requerir construcción de grafos.

Resultados Experimentales

PHAGE fue evaluado en tres tareas: Clasificación de Patentes, Recuperación y Agrupamiento, utilizando los conjuntos de datos CLEF-IP, USPTO-70k y DAPFAM. El protocolo de evaluación utilizó un codificador congelado, donde solo se optimizaron los sesgos conscientes de la relación y los pesos contrastivos, asegurando una comparación justa contra las líneas base.

• Clasificación: PHAGE superó a todas las líneas base, incluidos los modelos adaptados al dominio (BERT-for-Patents) y los modelos conscientes de citación (PaECTER, PatEmbed). En CLEF-IP, logró un Macro-F1 de 0.635, una mejora significativa de +9.7 sobre BERT-for-Patents. Cabe destacar que las líneas base de Redes Neuronales de Grafos (GNN) aplicadas a posteriori a las incrustaciones degradaron el rendimiento, lo que sugiere que inyectar la estructura directamente en el codificador es superior al procesamiento posterior.
• Recuperación: En la prueba DAPFAM, PHAGE logró un NDCG@100 de 0.498, superando a la mejor línea base consciente de citación (QaECTER, 0.379) en 11.9 puntos y a BERT-for-Patents en 27.0 puntos.
• Agrupamiento: PHAGE logró el NMI más alto (0.653) y la Homogeneidad (0.704) en CLEF-IP, indicando que la topología a nivel de reivindicación afina la pureza intra-cluster.

Estudios de Ablación confirmaron que:

• La inyección estructural (CDG + atención) es el principal motor de las ganancias de rendimiento.
• La máscara de conectividad rígida es más crítica que el sesgo de relación suave, aunque ambos contribuyen.
• Los pesos de relación aprendizables proporcionan ganancias consistentes, con el modelo aprendiendo a aumentar el peso de las relaciones implícitas en las capas inferiores y amplificar los sesgos intra-reivindicación en las capas superiores.

Significado y Afirmaciones

El artículo afirma que el cuello de botella estructural en el aprendizaje de representación de patentes reside dentro de las patentes (topología de reivindicaciones intra-documento) y no entre ellas (redes de citación inter-patente).

Los hallazgos clave destacados por los autores incluyen:

1. Superioridad de la Estructura Intra-documento: A pesar de utilizar solo dependencias dentro de la patente, PHAGE supera a las líneas base conscientes de citación que aprovechan millones de enlaces inter-patente verificados por examinadores. Esto sugiere que la herencia explícita y el estrechamiento del alcance dentro de una sola patente proporcionan una señal más potente para el aprendizaje de representaciones.
2. Internalización del Sesgo Estructural: El modelo internaliza con éxito el sesgo inductivo estructural durante el entrenamiento. En la inferencia, PHAGE opera como un paso forward estándar sin construcción de grafos, manteniendo casi todas las ganancias de rendimiento. Esto elimina la sobrecarga computacional de la construcción de grafos durante la implementación.
3. Especialización por Profundidad: Los sesgos aprendidos inducen especialización a través de las capas del Transformer, con las capas inferiores enfocándose en la agregación inter-reivindicación y las capas superiores refinando las representaciones intra-reivindicación.

Los autores concluyen que PHAGE ofrece una solución escalable para el análisis de patentes al internalizar dependencias legales y técnicas complejas en los parámetros del modelo, eliminando la necesidad de estructuras de grafos externas durante la inferencia mientras supera significativamente a los enfoques existentes adaptados al dominio y conscientes de citación.