Résumé technique : Attention guidée par un graphe de dépendances hétérogène pour l'apprentissage de représentations de brevets

Énoncé du problème

Les modèles de langage préentraînés (PLM) ont fait progresser la classification et la recherche de brevets en encodant les revendications sous forme de séquences plates de tokens. Cependant, cette approche néglige la hiérarchie de dépendances dirigées inhérente aux revendications de brevets. Dans les documents de brevets, les revendications dépendantes héritent des limitations des revendications antécédentes et ajoutent des détails techniques plus précis, créant une structure où le texte adjacent n'est pas nécessairement lié, tandis que des revendications distantes peuvent être directement connectées via des références de dépendance.

Les encodeurs actuels basés sur les PLM (par exemple, BERT-for-Patents, PatentBERT) opèrent au niveau du token, capturant les corrélations sémantiques mais échouant à encoder les dépendances juridiques explicites. Cette confusion entre des revendications structurellement proches mais sans rapport brouille la portée juridique et les dépendances techniques. De plus, l'intégration de la hiérarchie dans l'auto-attention présente deux défis spécifiques :

1. Fiabilité hétérogène : Les dépendances de revendications impliquent des types de relations avec des fiabilités variables. Traiter indistinctement des relations techniques bruyantes avec des signaux de citation juridique propres peut corrompre la représentation.
2. Inadéquation de granularité : Lorsqu'elles sont définies au niveau des revendications, les graphes de dépendances ne s'alignent pas avec l'opération au niveau du token des Transformers. La diffusion de l'adjacence au niveau des revendications peut diluer l'information structurelle sur des paires de tokens sans rapport.

Les approches basées sur les graphes existantes traitent souvent la structure comme une supervision externe ou une entrée auxiliaire au niveau du document, plutôt que d'injecter directement les dépendances au niveau des revendications dans le flux de représentation de l'encodeur.

Méthodologie : PHAGE

Les auteurs proposent le Patent Heterogeneous Attention-Guided Graph Encoder (PHAGE), un modèle qui intègre la structure de dépendance au niveau des revendications directement dans le mécanisme d'auto-attention d'un encodeur préentraîné. Le cadre fonctionne en trois étapes :

1. Construction du graphe de dépendance hétérogène des revendications (CDG)

PHAGE construit un graphe orienté acyclique (DAG) déterministe et hétérogène $G = (V, E, \psi)$ où les nœuds sont des revendications et les arêtes représentent des dépendances. L'ensemble des arêtes est catégorisé en quatre types de relations distincts pour gérer la fiabilité variable de l'extraction :

• $r_{cite}$ (Citation explicite) : Dérivée des références juridiques formelles (par exemple, « La méthode de la revendication 1... »). Celles-ci sont quasi-déterministes.
• $r_{term}$ (Flux de termes techniques) : Trace l'introduction de groupes nominaux techniques (articles indéfinis) et leur référence ultérieure (articles définis/démonstratifs).
• $r_{func}$ (Couplage fonctionnel) : Capture les relations fonctionnelles via l'analyse syntaxique de triplets verbe-objet (par exemple, « coupler », « connecter »).
• $r_{both}$ : Assignée lorsque les signaux de flux de termes et de couplage fonctionnel coexistent, servant de signal de haute confiance.

Le graphe est représenté par des matrices d'adjacence distinctes $\{A^{(r)}\}$ pour chaque type de relation, permettant au modèle d'apprendre des poids différentiels pour chacun.

2. Mécanisme d'attention sensible aux relations

PHAGE injecte le CDG dans le mécanisme d'auto-attention d'un encodeur Transformer (spécifiquement BERT-for-Patents) en utilisant deux composants :

• Masque de connectivité ($C$) : Une porte structurelle rigide qui restreint l'attention aux revendications structurellement liées. Si une paire de tokens $(u, v)$ ne correspond pas à une paire de revendications connectées dans le CDG, le score d'attention est masqué à $-\infty$. Le token [CLS] est exempté pour assurer une agrégation au niveau du document sans contrainte.
• Biais sensible aux relations apprenable ($B^{(l)}$) : Un ensemble léger de paramètres scalaires apprenables ajoutés aux logits d'attention. Ces biais sont conditionnés par le type d'arête spécifique ($r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$) et la profondeur de la couche $l$. Cela permet au modèle de moduler la force du flux d'information en fonction de la sémantique de la dépendance sans augmenter significativement la capacité du modèle (seulement 5 paramètres scalaires par couche).

3. Affinage par contraste à double granularité

Pour affiner l'espace d'incorporation, PHAGE emploie une fonction objectif conjointe combinant deux niveaux de supervision :

• Objectif au niveau du document ($L_{doc}$) : Aligne les représentations de brevets basées sur la taxonomie de la Classification Internationale des Brevets (IPC) en utilisant une perte de contraste (rapprochant les brevets d'une même sous-classe, éloignant les sous-classes différentes).
• Objectif au niveau des revendications ($L_{claim}$) : Fondé sur le CDG, cette perte impose une proximité topologique entre les revendications. Crucialement, elle attribue des poids apprenables $w_r$ à chaque type de relation, permettant au modèle de calibrer la pression d'alignement en fonction de la fiabilité du type d'arête.

La perte finale est $L = L_{doc} + \lambda L_{claim}$.

Contributions clés

1. Topologie intra-document des revendications comme biais inductif : Les auteurs identifient que la hiérarchie de dépendances dirigées entre les revendications est un signal informatif rejeté par les encodeurs existants. PHAGE injecte cette topologie directement dans le flux de représentation de l'encodeur plutôt que de la traiter comme une entrée auxiliaire.
2. Encodeur de brevets à injection de topologie : Une architecture novatrice qui combine un pipeline de construction de graphe hétérogène déterministe avec un masque de connectivité et des biais sensibles aux relations apprenables pour intégrer les dépendances au niveau des revendications dans l'auto-attention.
3. Résultat empirique sur le biais inductif structurel : Les expériences démontrent que la topologie des revendications intra-brevet fournit un biais inductif plus fort que les structures de citations inter-brevets. De plus, les priors structurels appris sont intériorisés dans les poids du modèle, permettant au modèle de fonctionner efficacement à l'inférence sans nécessiter de construction de graphe.

Résultats expérimentaux

PHAGE a été évalué sur trois tâches : Classification de brevets, Recherche et Regroupement, en utilisant les jeux de données CLEF-IP, USPTO-70k et DAPFAM. Le protocole d'évaluation a utilisé un encodeur figé, où seuls les biais sensibles aux relations et les poids de contraste ont été optimisés, assurant une comparaison équitable avec les modèles de référence.

• Classification : PHAGE a surpassé tous les modèles de référence, y compris les modèles adaptés au domaine (BERT-for-Patents) et les modèles conscients des citations (PaECTER, PatEmbed). Sur CLEF-IP, il a obtenu un Macro-F1 de 0,635, une amélioration significative de +9,7 par rapport à BERT-for-Patents. Notamment, les modèles de référence basés sur les réseaux de neurones graphiques (GNN) appliqués a posteriori aux incorporations ont dégradé les performances, suggérant que l'injection directe de la structure dans l'encodeur est supérieure au traitement postérieur.
• Recherche : Sur le benchmark DAPFAM, PHAGE a obtenu un NDCG@100 de 0,498, surpassant le meilleur modèle de référence conscient des citations (QaECTER, 0,379) de 11,9 points et BERT-for-Patents de 27,0 points.
• Regroupement : PHAGE a obtenu le NMI (0,653) et l'Homogénéité (0,704) les plus élevés sur CLEF-IP, indiquant que la topologie au niveau des revendications affine la pureté intra-grappe.

Des études d'ablation ont confirmé que :

• L'injection structurelle (CDG + attention) est le principal moteur des gains de performance.
• Le masque de connectivité rigide est plus critique que le biais de relation souple, bien que les deux contribuent.
• Les poids de relation apprenables fournissent des gains constants, le modèle apprenant à surpondérer les relations implicites dans les couches inférieures et à amplifier les biais intra-revendication dans les couches supérieures.

Signification et revendications

L'article affirme que le goulot d'étranglement structurel dans l'apprentissage de représentations de brevets réside à l'intérieur des brevets (topologie des revendications intra-document) plutôt que entre eux (réseaux de citations inter-brevets).

Les résultats clés mis en avant par les auteurs incluent :

1. Supériorité de la structure intra-document : Malgré l'utilisation exclusive des dépendances au sein du brevet, PHAGE surpasse les modèles de référence conscients des citations qui exploitent des millions de liens inter-brevets vérifiés par les examinateurs. Cela suggère que l'héritage explicite et le rétrécissement de la portée au sein d'un seul brevet fournissent un signal plus puissant pour l'apprentissage de représentations.
2. Intériorisation du biais structurel : Le modèle intègre avec succès le biais inductif structurel pendant l'entraînement. À l'inférence, PHAGE fonctionne comme un passage avant standard sans construction de graphe, tout en conservant presque tous les gains de performance. Cela élimine la surcharge computationnelle de la construction de graphe lors du déploiement.
3. Spécialisation par profondeur : Les biais appris induisent une spécialisation à travers les couches du Transformer, les couches inférieures se concentrant sur l'agrégation inter-revendication et les couches supérieures affinant les représentations intra-revendication.

Les auteurs concluent que PHAGE offre une solution évolutive pour l'analyse de brevets en intériorisant des dépendances juridiques et techniques complexes dans les paramètres du modèle, éliminant le besoin de structures de graphes externes lors de l'inférence tout en surpassant considérablement les approches existantes adaptées au domaine et conscientes des citations.