Riepilogo Tecnico: Attenzione Guidata da Grafo di Dipendenze Eterogeneo per l'Apprendimento della Rappresentazione dei Brevetti

Enunciato del Problema

I modelli linguistici pre-addestrati (PLM) hanno avanzato la classificazione e il recupero dei brevetti codificando le rivendicazioni come sequenze piatte di token. Tuttavia, questo approccio trascura l'gerarchia di dipendenze dirette intrinseca tra le rivendicazioni dei brevetti. Nei documenti brevettuali, le rivendicazioni dipendenti ereditano limitazioni dalle rivendicazioni antecedenti e aggiungono dettagli tecnici più specifici, creando una struttura in cui il testo adiacente non è necessariamente correlato, mentre rivendicazioni distanti possono essere direttamente connesse tramite riferimenti di dipendenza.

I codificatori basati su PLM attuali (ad es. BERT-for-Patents, PatentBERT) operano a livello di token, catturando correlazioni semantiche ma fallendo nel codificare dipendenze legali esplicite. Questa confusione tra rivendicazioni strutturalmente vicine ma non correlate offusca la portata legale e le dipendenze tecniche. Inoltre, incorporare la gerarchia nell'attenzione auto-consistente presenta due sfide specifiche:

1. Affidabilità Eterogenea: Le dipendenze delle rivendicazioni coinvolgono tipi di relazione con affidabilità variabile. Trattare indiscriminatamente relazioni tecniche rumorose insieme a segnali di citazione legale puliti può corrompere la rappresentazione.
2. Disallineamento della Granularità: Quando definiti su rivendicazioni, i grafi di dipendenze non si allineano con l'operazione a livello di token dei Transformer. La diffusione dell'adiacenza a livello di rivendicazione può diluire le informazioni strutturali su coppie di token non correlate.

Gli approcci basati su grafi esistenti spesso trattano la struttura come supervisione esterna o input ausiliario a livello di documento, piuttosto che iniettare le dipendenze a livello di rivendicazione direttamente nel flusso di rappresentazione del codificatore.

Metodologia: PHAGE

Gli autori propongono il Codificatore a Grafo Guidato da Attenzione Eterogenea per Brevetti (PHAGE), un modello che integra la struttura di dipendenza a livello di rivendicazione direttamente nel meccanismo di attenzione auto-consistente di un codificatore pre-addestrato. Il framework opera in tre fasi:

1. Costruzione del Grafo di Dipendenze Eterogeneo delle Rivendicazioni (CDG)

PHAGE costruisce un Grafo Aciclico Diretto (DAG) deterministico ed eterogeneo $G = (V, E, \psi)$ dove i nodi sono le rivendicazioni e gli archi rappresentano le dipendenze. L'insieme degli archi è categorizzato in quattro tipi di relazione distinti per gestire l'affidabilità variabile dell'estrazione:

• $r_{cite}$ (Citazione Esplicita): Derivata da riferimenti legali formali (ad es. "Il metodo della rivendicazione 1..."). Queste sono quasi deterministiche.
• $r_{term}$ (Flusso di Termini Tecnici): Traccia l'introduzione di frasi nominali tecniche (articoli indeterminativi) e il loro successivo riferimento (articoli determinativi/dimostrativi).
• $r_{func}$ (Accoppiamento Funzionale): Cattura le relazioni funzionali tramite l'analisi sintattica di triple verbo-oggetto (ad es. "accoppiare", "connettere").
• $r_{both}$: Assegnata quando co-occorrono sia segnali di flusso di termini che di accoppiamento funzionale, fungendo da segnale ad alta fiducia.

Il grafo è rappresentato da matrici di adiacenza distinte $\{A^{(r)}\}$ per ogni tipo di relazione, permettendo al modello di apprendere pesi differenziali per ciascuno.

2. Meccanismo di Attenzione Consapevole della Relazione

PHAGE inietta il CDG nel meccanismo di attenzione auto-consistente di un codificatore Transformer (specificamente BERT-for-Patents) utilizzando due componenti:

• Maschera di Connettività ($C$): Una porta strutturale rigida che limita l'attenzione alle rivendicazioni strutturalmente correlate. Se una coppia di token $(u, v)$ non corrisponde a una coppia di rivendicazioni connesse nel CDG, il punteggio di attenzione è mascherato a $-\infty$. Il token [CLS] è esentato per garantire un'aggregazione a livello di documento senza vincoli.
• Bias Apprendibile Consapevole della Relazione ($B^{(l)}$): Un set leggero di parametri scalari apprendibili aggiunti ai logit di attenzione. Questi bias sono condizionati al tipo specifico di arco ($r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$) e alla profondità del livello $l$. Ciò permette al modello di modulare la forza del flusso di informazioni in base alla semantica della dipendenza senza aumentare significativamente la capacità del modello (solo 5 parametri scalari per livello).

3. Affinamento Contrastivo a Doppia Granularità

Per rifinare lo spazio di embedding, PHAGE impiega una funzione obiettivo congiunta che combina due livelli di supervisione:

• Obiettivo a Livello di Documento ($L_{doc}$): Allinea le rappresentazioni dei brevetti basandosi sulla tassonomia della Classificazione Internazionale dei Brevetti (IPC) utilizzando una perdita contrastiva (avvicinando i brevetti nella stessa sottoclasse, allontanando sottoclassi diverse).
• Obiettivo a Livello di Rivendicazione ($L_{claim}$): Fondato sul CDG, questa perdita impone la prossimità topologica tra le rivendicazioni. Crucialmente, assegna pesi apprendibili $w_r$ a ogni tipo di relazione, permettendo al modello di calibrare la pressione di allineamento in base all'affidabilità del tipo di arco.

La perdita finale è $L = L_{doc} + \lambda L_{claim}$.

Contributi Chiave

1. Topologia delle Rivendicazioni Intra-documento come Bias Induttivo: Gli autori identificano che la gerarchia di dipendenze dirette tra le rivendicazioni è un segnale informativo scartato dai codificatori esistenti. PHAGE inietta questa topologia direttamente nel flusso di rappresentazione del codificatore invece di trattarla come input ausiliario.
2. Codificatore di Brevetti con Topologia Iniettata: Un'architettura innovativa che combina una pipeline di costruzione di grafi eterogenei deterministici con una maschera di connettività e bias apprendibili consapevoli della relazione per integrare le dipendenze a livello di rivendicazione nell'attenzione auto-consistente.
3. Risultato Empirico sul Bias Induttivo Strutturale: Gli esperimenti dimostrano che la topologia delle rivendicazioni intra-brevetto fornisce un bias induttivo più forte rispetto alle strutture di citazione inter-brevetto. Inoltre, i prior strutturali appresi sono interiorizzati nei pesi del modello, permettendo al modello di operare efficacemente all'inferenza senza richiedere la costruzione del grafo.

Risultati Sperimentali

PHAGE è stato valutato su tre compiti: Classificazione dei Brevetti, Recupero e Clustering, utilizzando i dataset CLEF-IP, USPTO-70k e DAPFAM. Il protocollo di valutazione ha utilizzato un codificatore congelato, dove solo i bias consapevoli della relazione e i pesi contrastivi sono stati ottimizzati, garantendo un confronto equo rispetto ai baseline.

• Classificazione: PHAGE ha superato tutti i baseline, inclusi i modelli adattati al dominio (BERT-for-Patents) e i modelli consapevoli delle citazioni (PaECTER, PatEmbed). Su CLEF-IP, ha raggiunto un Macro-F1 di 0.635, un miglioramento significativo di +9.7 rispetto a BERT-for-Patents. Notabilmente, i baseline di Reti Neurali su Grafo (GNN) applicati post-hoc agli embedding hanno degradato le prestazioni, suggerendo che iniettare la struttura direttamente nel codificatore è superiore al post-processing.
• Recupero: Sul benchmark DAPFAM, PHAGE ha raggiunto un NDCG@100 di 0.498, superando il miglior baseline consapevole delle citazioni (QaECTER, 0.379) di 11.9 punti e BERT-for-Patents di 27.0 punti.
• Clustering: PHAGE ha raggiunto il più alto NMI (0.653) e Omogeneità (0.704) su CLEF-IP, indicando che la topologia a livello di rivendicazione affina la purezza intra-cluster.

Studi di Ablazione hanno confermato che:

• L'iniezione strutturale (CDG + attenzione) è il principale motore dei guadagni di prestazioni.
• La maschera di connettività rigida è più critica del bias di relazione morbido, sebbene entrambi contribuiscano.
• I pesi di relazione apprendibili forniscono guadagni coerenti, con il modello che impara a sovrappesare le relazioni implicite nei livelli inferiori e ad amplificare i bias intra-rivendicazione nei livelli superiori.

Significato e Affermazioni

Il documento afferma che il collo di bottiglia strutturale nell'apprendimento della rappresentazione dei brevetti risiede all'interno dei brevetti (topologia delle rivendicazioni intra-documento) piuttosto che tra di essi (reti di citazione inter-brevetto).

Le scoperte chiave evidenziate dagli autori includono:

1. Superiorità della Struttura Intra-documento: Nonostante l'uso di sole dipendenze intra-brevetto, PHAGE supera i baseline consapevoli delle citazioni che sfruttano milioni di link inter-brevetto verificati dagli esaminatori. Ciò suggerisce che l'eredità esplicita e il restringimento della portata all'interno di un singolo brevetto forniscono un segnale più potente per l'apprendimento della rappresentazione.
2. Interiorizzazione del Bias Strutturale: Il modello interiorizza con successo il bias induttivo strutturale durante l'addestramento. All'inferenza, PHAGE opera come un passaggio in avanti standard senza costruzione del grafo, mantenendo quasi tutti i guadagni di prestazioni. Ciò elimina l'overhead computazionale della costruzione del grafo durante il deployment.
3. Specializzazione per Livello: I bias appresi inducono specializzazione attraverso i livelli del Transformer, con i livelli inferiori focalizzati sull'aggregazione cross-rivendicazione e i livelli superiori che affinano le rappresentazioni intra-rivendicazione.

Gli autori concludono che PHAGE offre una soluzione scalabile per l'analisi dei brevetti interiorizzando complesse dipendenze legali e tecniche nei parametri del modello, rimuovendo la necessità di strutture di grafo esterne durante l'inferenza e superando significativamente gli approcci esistenti adattati al dominio e consapevoli delle citazioni.