Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding

Résumé technique : Génération autorégressive de revendications de brevets augmentée par pointeur avec décodage conjoint de la topologie et du contenu

Énoncé du problème
Les modèles de langage autorégressifs génèrent du texte sous forme de séquences de jetons (tokens) plates, manquant de mécanismes explicites pour raisonner sur les relations hiérarchiques entre les segments de sortie. Cette limitation est aiguë dans la génération de revendications de brevets, où un ensemble de revendications forme une « Forêt de dépendances de revendications ». Dans cette structure, les revendications indépendantes constituent les racines des arbres, et les revendications dépendantes doivent citer des revendications antécédentes par des références hiérarchiques. Crucialement, la hiérarchie porte des contraintes statutaires : la portée de la protection doit se rétrécir de manière monotone avec la profondeur. Le fait de ne pas respecter ces contraintes (par exemple, une revendication dépendante qui élargit la portée de sa parente ou qui ne cite pas un antécédent valide) constitue un motif de rejet par les offices de brevets.

Les approches existantes souffrent de trois limitations principales :

1. Séparation architecturale : Le décodage autorégressif standard ne peut pas modéliser les dépendances parent/enfant non linéaires, produisant souvent des chaînes de dépendance brisées. Les méthodes qui prédisent la topologie de manière isolée du contenu ou qui imposent une grammaire de surface sans cohérence sémantique échouent à garantir que la formulation d'une revendication dépendante reflète la portée de sa parente.
2. Absence de régularisation de la portée : Aucune méthode existante ne fournit de biais inductif pour l'exigence statutaire selon laquelle la portée se rétrécit avec la profondeur, conduisant les modèles à générer des revendications dépendantes qui élargissent ou contredisent par inadvertance leurs parentes.
3. Absence de signaux négatifs : Aligner les modèles sur ces contraintes nécessite des exemples contrastifs de sorties déficientes. Cependant, les corpus de brevets publics consistent presque exclusivement de demandes accordées, ne laissant aucun « signal négatif » (forêts défectueuses) pour que le modèle puisse apprendre.

Méthodologie : SPG (Génération de brevets sensible à la structure)
Les auteurs proposent SPG, un cadre qui prédit la topologie à l'intérieur du passage autorégressif, garantissant que la représentation émettant les jetons d'une revendication est la même que celle décidant de l'attachement de ladite revendication. Le cadre fonctionne en deux étapes :

• Étape I : Entraînement sensible à la structure

  • Décodage augmenté par pointeur : Le décodeur autorégressif est augmenté d'une tête de pointeur. Au délimiteur d'ouverture de chaque revendication dépendante, cette tête sélectionne une parente parmi l'ensemble des revendications précédentes. Crucialement, le pointeur lit les mêmes états cachés utilisés pour la prédiction de jetons. Cela permet aux gradients de la tâche de sélection de la parente de remodeler les représentations du décodeur, rendant le décodeur intrinsèquement sensible à la topologie.
  • Objectifs auxiliaires :
    • Perte de cohérence structurelle : Une perte d'entropie croisée supervise la sélection de la parente par le pointeur par rapport aux liens de vérité terrain.
    • Régularisation de la portée hiérarchique : Une contrainte de marge adaptative à la profondeur encourage la représentation d'une revendication dépendante à rester proche de la représentation de sa parente. Le rayon autorisé pour cette distance rétrécit géométriquement avec la profondeur, imposant l'exigence statutaire selon laquelle la portée se rétrécit à mesure que l'arbre s'approfondit.

• Étape II : Optimisation de la préférence juridique (LPO)

  • Pour remédier à l'absence de signaux négatifs dans les corpus de brevés accordés, les auteurs synthétisent des candidats déficients en échantillonnant à partir de la politique de l'Étape I à différentes températures.
  • Une fonction de score déterministe (PatentScorerule) évalue ces candidats sur le nombre de revendications, les motifs structurels, la cohérence de l'antécédent, la longueur et le chevauchement de contenu.
  • Objectif pondéré par la sévérité : Contrairement à l'optimisation directe de la préférence (DPO) standard, qui traite tous les couples de préférences de manière égale, SPG met à l'échelle la perte contrastive selon la gravité de la déficience dans l'échantillon rejeté. Cela empêche l'effondrement de mode (mode collapse), où le modèle pourrait traiter un point-virgule manquant avec la même pénalité qu'un sous-arbre entier manquant.

Contributions clés

1. Décodage conjoint : Une tête de pointeur prédit les dépendances parentales au sein du passage autorégressif, permettant à la topologie et au contenu d'être appris dans un seul passage direct sans étape de parsing séparée.
2. Régularisation de la portée : Une marge adaptative à la profondeur avec des rayons décroissants géométriquement resserre le couplage parent-enfant à mesure que la profondeur augmente, agissant sur les paires spécifiques identifiées par l'objectif du pointeur.
3. Alignement pondéré par la sévérité : En mettant à l'échelle les paires de préférences selon la déficience de l'échantillon rejeté, la méthode évite l'effondrement de mode, un mode de défaillance induit par une pondération uniforme dans les tâches de génération structurée.
4. Dissociation empirique : L'étude démontre que la conformité structurelle ne croît pas avec la taille des paramètres ou le pré-entraînement sur domaine ; les modèles allant de 6B à 141B paramètres échouent à apprendre la compétence hiérarchique sans biais inductifs explicites, alors que la fluidité suit une progression naturelle.

Résultats
Évalué sur le jeu de données HUPD-DCG en utilisant un backbone Llama-3-8B-Instruct :

• Précision structurelle : SPG récupère 79,0 % des liens parents de référence (Précision des arêtes de dépendance), une métrique qui n'est jamais directement supervisée par la récompense d'entraînement.
• Cohérence référentielle : Le modèle améliore la cohérence de l'antécédent (AC) de 0,292 (baseline supervisée) à 0,478, indiquant une meilleure résolution des références à travers des structures d'arbres profondes.
• Fluidité : Le modèle atteint des scores BLEU (37,66) et ROUGE-1 (64,18) de pointe parmi les modèles affinés, égalant la fluidité de la baseline supervisée tout en surpassant significativement celle-ci sur les métriques structurelles.
• Évaluation par des experts : Deux praticiens du droit des brevets ont jugé le modèle complet nettement plus élevé (4,05 globalement) que la baseline supervisée (3,52) et les baselines zero-shot, corroborant les métriques automatiques.
• Lois d'échelle (Scaling Laws) : L'augmentation de la taille du modèle de 6B à 141B paramètres a amélioré la fluidité mais n'a pas amélioré les scores de motifs structurels, confirmant que la compétence hiérarchique nécessite un biais architectural explicite plutôt qu'une simple capacité.

Signification et Revendications
L'article soutient que pour les tâches de génération où les sorties comportent une structure exécutoire (juridique ou programmatique), les décisions structurelles doivent être intégrées dans le processus de génération plutôt que traitées a posteriori ou via des contraintes de surface. Les auteurs avancent trois conclusions principales :

1. L'échelle n'est pas un substitut à la supervision structurelle : Des mécanismes structurels explicites sont nécessaires avant d'augmenter la taille du modèle lorsque les tâches impliquent des relations entre des segments non adjacents.
2. L'optimisation de la préférence nécessite une pondération par la sévérité : Dans la génération structurée, les déficiences ne sont pas interchangeables ; pondérer les gradients par la gravité de la violation est nécessaire pour éviter l'effondrement.
3. La structure et le contenu sont mieux séparés dans le temps : Sur-contraindre d'abord l'échafaudage structurel (Étape I), puis optimiser le contenu au sein de cet échafaudage (Étape II), produit de meilleurs résultats que de balancer des objectifs concurrents simultanément.

Les auteurs font preuve de modestie concernant leurs affirmations, notant que le système est destiné à assister les professionnels des brevets et nécessite un examen expert. Ils reconnaissent les limitations concernant les règles de dépendance spécifiques aux juridictions (par exemple, les dépendances multiples dans l'OEB contre un parent unique dans l'USPTO) et le fait que leur évaluation repose sur des exécutions uniques sans test de signification. Le travail se concentre strictement sur le texte des revendications et la structure de dépendance, excluant les stratégies de rédaction de brevets plus larges comme l'argumentation sur la nouveauté.