Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding

Sintesi Tecnica: Generazione Autoregressiva di Rivendicazioni di Brevetti con Augmentation tramite Pointer con Decodifica Congiunta di Topologia e Contenuto

Problematica
I modelli linguistici autoregressivi generano testo come sequenze piatte di token, privi di meccanismi espliciti per ragionare sulle relazioni gerarchiche tra i segmenti di output. Questa limitazione è acuta nella generazione di rivendicazioni brevettuali, dove un insieme di rivendicazioni forma una "Foresta di Dipendenza delle Rivendicazioni" (Claim Dependency Forest). In questa struttura, le rivendicazioni indipendenti fungono da radici degli alberi, e le rivendicazioni dipendenti devono citare le rivendicazioni antecedenti attraverso riferimenti gerarchici. Fondamentalmente, la gerarchia è soggetta a vincoli statutari: l'ambito di protezione deve restringersi monotonicamente con la profondità. Il mancato rispetto di questi vincoli (ad esempio, una rivendicazione dipendente che amplia l'ambito della sua genitrice o che non cita un antecedente valido) costituisce un motivo di rifiuto da parte degli uffici brevetti.

Gli approcci esistenti soffrono di tre limitazioni primarie:

1. Separazione Architetturale: La decodifica autoregressiva standard non può modellare dipendenze genitore/figlio non lineari, producendo spesso catene di dipendenza interrotte. I metodi che prevedono la topologia isolatamente dal contenuto o che impongono una grammatica superficiale senza coerenza semantica falliscono nel garantire che il wording di una rivendicazione dipendente rifletta l'ambito della sua genitrice.
2. Mancanza di Regolarizzazione dell'Ambito: Nessun metodo esistente fornisce un bias induttivo per il requisito statutario secondo cui l'ambito si restringe con la profondità, portando i modelli a generare rivendicazioni dipendenti che involontariamente ampliano o contraddicono le loro genitrici.
3. Assenza di Segnali Negativi: Allineare i modelli con questi vincoli richiede esempi contrastivi di output difettosi. Tuttavia, i corpora brevettuali pubblici consistono quasi esclusivamente di domande concesse, lasciando nessun "segnale negativo" (foreste difettose) da cui il modello possa apprendere.

Metodologia: SPG (Generazione di Brevetti Sensibile alla Struttura)
Gli autori propongono SPG, un framework che predice la topologia all'interno del passaggio autoregressivo, garantendo che la rappresentazione che emette i token di una rivendicazione sia la stessa che decide dove questa si attacca. Il framework opera in due fasi:

• Fase I: Addestramento Sensibile alla Struttura

  • Decodifica Augmentata tramite Pointer: Il decoder autoregressivo è aumentato con una testa di puntamento (pointer head). Al delimitatore di apertura di ogni rivendicazione dipendente, questa testa seleziona una genitrice dall'insieme delle rivendicazioni precedenti. Fondamentalmente, il pointer legge gli stessi stati nascosti utilizzati per la predizione dei token. Ciò consente ai gradienti della task di selezione della genitrice di rimodellare le rappresentazioni del decoder, rendendo il decoder intrinsecamente consapevole della topologia.
  • Obiettivi Ausiliari:
    • Perdita di Coerenza Strutturale: Una perdita di cross-entropy supervisiona la selezione della genitrice da parte del pointer rispetto ai link di ground-truth.
    • Regolarizzazione Gerarchica dell'Ambito: Un vincolo di margine adattivo alla profondità incoraggia la rappresentazione di una rivendicazione dipendente a rimanere vicina alla rappresentazione della sua genitrice. Il raggio consentito per questa distanza si restringe geometricamente con la profondità, imponendo il requisito statutario che l'ambito si restringa man mano che l'albero si approfondisce.

• Fase II: Ottimizzazione delle Preferenze Legali (LPO)

  • Per affrontare la mancanza di segnali negativi nei corpora brevettuali concessi, gli autori sintetizzano candidati difettosi campionando dalla policy della Fase I a diverse temperature.
  • Una funzione di punteggio deterministica (PatentScorerule) valuta questi candidati in base al numero di rivendicazioni, ai pattern strutturali, alla coerenza dell'antecedente, alla lunghezza e alla sovrapposizione del contenuto.
  • Obiettivo Pesato sulla Gravità: A differenza della standard Direct Preference Optimization (DPO), che tratta tutte le coppie di preferenza allo stesso modo, SPG scala la perdita contrastiva in base alla gravità della deficienza nel campione rifiutato. Ciò evita il "collasso della modalità" (mode collapse), dove il modello potrebbe trattare un punto e virgola mancante con la stessa penalità di un intero sotto-albero mancante.

Contributi Chiave

1. Decodifica Congiunta: Una testa di puntamento predice le dipendenze della genitrice all'interno del passaggio autoregressivo, permettendo a topologia e contenuto di essere appresi in un unico passaggio in avanti senza una fase di parsing separata.
2. Regolarizzazione dell'Ambito: Un margine adattivo alla profondità con raggi che decadono geometricamente stringe l'accoppiamento genitore-figlio all'aumentare della profondità, agendo sulle coppie specifiche identificate dall'obiettivo del pointer.
3. Allineamento Pesato sulla Gravità: Scalando le coppie di preferenza in base alla gravità della deficienza del campione rifiutato, il metodo evita il collasso della modalità, un fallimento indotto dal peso uniforme nei compiti di generazione strutturata.
4. Dissociazione Empirica: Lo studio dimostra che la conformità strutturale non scala con la dimensione dei parametri o con il pre-addestramento di dominio; modelli che vanno da 6B a 141B di parametri falliscono nell'apprendere la competenza gerarchica senza espliciti bias induttivi, mentre la fluidità scala naturalmente.

Risultati
Valutato sul dataset HUPD-DCG utilizzando un backbone Llama-3-8B-Instruct:

• Accuratezza Strutturale: SPG recupera il 79,0% dei link genitore gold (Dependency-Edge Accuracy), una metrica che non è mai stata direttamente supervisionata dal reward di addestramento.
• Coerenza Referenziale: Il modello migliora la coerenza dell'antecedente (AC) da 0,292 (baseline supervisionata) a 0,478, indicando una migliore risoluzione dei riferimenti attraverso strutture ad albero profonde.
• Fluidità: Il modello raggiunge punteggi state-of-the-art per BLEU (37,66) e ROUGE-1 (64,18) tra i modelli sottoposti a fine-tuning, eguagliando la fluidità della baseline supervisionata pur superando significativamente quest'ultima nei parametri strutturali.
• Valutazione Esperta: Due professionisti del settore brevettuale hanno valutato il modello completo significativamente più alto (4,05 complessivo) rispetto alla baseline supervisionata (3,52) e alle baseline zero-shot, corroborando le metriche automatiche.
• Leggi di Scala (Scaling Laws): L'aumento della dimensione del modello da 6B a 141B ha migliorato la fluidità ma non ha migliorato i punteggi dei pattern strutturali, confermando che la competenza gerarchica richiede un bias architettonico esplicito piuttosto che capacità computazionale.

Significatività e Assertions
Il paper sostiene che per i compiti di generazione in cui gli output portano una struttura vincolante (legale o programmatica), le decisioni strutturali devono essere integrate nel processo di generazione piuttosto che gestite post-hoc o tramite vincoli superficiali. Gli autori pongono tre scoperte chiave:

1. La scala non è un sostituto della supervisione strutturale: Sono necessari meccanismi strutturali espliciti prima di aumentare la dimensione del modello quando i compiti coinvolgono relazioni tra segmenti non adiacenti.
2. L'ottimizzazione delle preferenze richiede una pesatura sensibile alla gravità: Nella generazione strutturata, le deficienze non sono intercambiabili; pesare i gradienti in base alla gravità della violazione è necessario per evitare il collasso.
3. Struttura e contenuto sono meglio separati nel tempo: Vincolare prima lo scaffold strutturale (Fase I) e poi ottimizzare il contenuto all'interno di quello scaffold (Fase II) produce risultati migliori rispetto al bilanciare obiettivi competitivi simultaneamente.

Gli autori mantengono la modestia riguardo alle loro affermazioni, notando che il sistema è inteso per assistere i professionisti dei brevetti e richiede una revisione esperta. Riconoscono le limitazioni riguardanti le regole di dipendenza specifiche per giurisdizione (ad esempio, molteplici dipendenze nell'EPO rispetto alla singola genitrice nell'USPTO) e il fatto che la loro valutazione si basa su singole esecuzioni senza test di significatività. Il lavoro si concentra strettamente sul testo delle rivendicazioni e sulla struttura di dipendenza, escludendo strategie di redazione brevettuale più ampie come l'argomentazione della novità.