Resumo Técnico: Atenção Guiada por Grafo de Dependência Heterogênea para Aprendizado de Representação de Patentes

Declaração do Problema

Modelos de linguagem pré-treinados (PLMs) avançaram a classificação e recuperação de patentes ao codificar reivindicações como sequências planas de tokens. No entanto, essa abordagem ignora a hierarquia de dependência direcionada inerente entre as reivindicações de patentes. Em documentos de patente, reivindicações dependentes herdam limitações de reivindicações antecedentes e adicionam detalhes técnicos mais específicos, criando uma estrutura onde o texto adjacente não é necessariamente relacionado, enquanto reivindicações distantes podem estar diretamente conectadas por meio de referências de dependência.

Os codificadores baseados em PLMs atuais (por exemplo, BERT-for-Patents, PatentBERT) operam no nível de token, capturando correlações semânticas, mas falham em codificar dependências legais explícitas. Essa confluência de reivindicações estruturalmente próximas, porém não relacionadas, obscurece o escopo legal e as dependências técnicas. Além disso, incorporar hierarquia ao mecanismo de autoatenção apresenta dois desafios específicos:

1. Confiabilidade Heterogênea: As dependências de reivindicações envolvem tipos de relação com confiabilidade variável. Tratar relações técnicas ruidosas indiscriminadamente com sinais limpos de citação legal pode corromper a representação.
2. Incompatibilidade de Granularidade: Quando definidos sobre reivindicações, os grafos de dependência não se alinham com a operação em nível de token dos Transformers. A difusão de adjacência no nível de reivindicação pode diluir informações estruturais entre pares de tokens não relacionados.

Abordagens baseadas em grafos existentes frequentemente tratam a estrutura como supervisão externa ou entrada auxiliar no nível do documento, em vez de injetar dependências no nível de reivindicação diretamente no fluxo de representação do codificador.

Metodologia: PHAGE

Os autores propõem o Codificador de Grafo Guiado por Atenção Heterogênea de Patentes (PHAGE), um modelo que integra a estrutura de dependência no nível de reivindicação diretamente no mecanismo de autoatenção de um codificador pré-treinado. O framework opera em três etapas:

1. Construção do Grafo de Dependência de Reivindicações Heterogêneo (CDG)

O PHAGE constrói um Grafo Acíclico Direcionado (DAG) determinístico e heterogêneo $G = (V, E, \psi)$, onde os nós são reivindicações e as arestas representam dependências. O conjunto de arestas é categorizado em quatro tipos de relação distintos para lidar com a confiabilidade variável da extração:

• $r_{cite}$ (Citação Explícita): Derivada de referências legais formais (por exemplo, "O método da reivindicação 1..."). Estas são quase determinísticas.
• $r_{term}$ (Fluxo de Termo Técnico): Rastreia a introdução de frases nominais técnicas (artigos indefinidos) e sua referência subsequente (artigos definidos/demonstrativos).
• $r_{func}$ (Acoplamento Funcional): Captura relações funcionais por meio da análise sintática de tripletos verbo-objeto (por exemplo, "acoplar", "conectar").
• $r_{both}$: Atribuída quando os sinais de fluxo de termo e acoplamento funcional co-ocorrem, servindo como um sinal de alta confiança.

O grafo é representado por matrizes de adjacência distintas $\{A^{(r)}\}$ para cada tipo de relação, permitindo que o modelo aprenda pesos diferenciais para cada um.

2. Mecanismo de Atenção Consciente de Relação

O PHAGE injeta o CDG no mecanismo de autoatenção de um codificador Transformer (especificamente BERT-for-Patents) usando dois componentes:

• Máscara de Conectividade ($C$): Um portão estrutural rígido que restringe a atenção a reivindicações estruturalmente relacionadas. Se um par de tokens $(u, v)$ não corresponder a um par de reivindicações conectadas no CDG, a pontuação de atenção é mascarada para $-\infty$. O token [CLS] está isento para garantir agregação no nível do documento sem restrições.
• Viés Consciente de Relação Aprendível ($B^{(l)}$): Um conjunto leve de parâmetros escalares aprendíveis adicionados aos logits de atenção. Esses vieses são condicionados ao tipo de aresta específica ($r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$) e à profundidade da camada $l$. Isso permite que o modelo module a força do fluxo de informações com base na semântica da dependência, sem aumentar significativamente a capacidade do modelo (apenas 5 parâmetros escalares por camada).

3. Ajuste Fino Contrastivo de Dupla Granularidade

Para refinar o espaço de incorporação, o PHAGE emprega uma função objetivo conjunta que combina dois níveis de supervisão:

• Objetivo no Nível de Documento ($L_{doc}$): Alinha representações de patentes com base na taxonomia de Classificação Internacional de Patentes (IPC) usando uma perda contrastiva (puxando patentes na mesma subclasse juntas, empurrando subclasses diferentes para longe).
• Objetivo no Nível de Reivindicação ($L_{claim}$): Fundamentado no CDG, esta perda impõe proximidade topológica entre reivindicações. Crucialmente, atribui pesos aprendíveis $w_r$ a cada tipo de relação, permitindo que o modelo calibre a pressão de alinhamento com base na confiabilidade do tipo de aresta.

A perda final é $L = L_{doc} + \lambda L_{claim}$.

Contribuições Principais

1. Topologia de Reivindicação Intra-documento como Viés Indutivo: Os autores identificam que a hierarquia de dependência direcionada entre reivindicações é um sinal informativo descartado por codificadores existentes. O PHAGE injeta essa topologia diretamente no fluxo de representação do codificador, em vez de tratá-la como entrada auxiliar.
2. Codificador de Patente com Injeção de Topologia: Uma arquitetura inovadora que combina um pipeline de construção de grafo heterogêneo determinístico com uma máscara de conectividade e vieses conscientes de relação aprendíveis para integrar dependências no nível de reivindicação à autoatenção.
3. Descoberta Empírica sobre Viés Indutivo Estrutural: Experimentos demonstram que a topologia de reivindicação intra-patente fornece um viés indutivo mais forte do que estruturas de citação inter-patente. Além disso, os priores estruturais aprendidos são internalizados nos pesos do modelo, permitindo que o modelo opere efetivamente na inferência sem exigir construção de grafo.

Resultados Experimentais

O PHAGE foi avaliado em três tarefas: Classificação de Patentes, Recuperação e Agrupamento, usando os conjuntos de dados CLEF-IP, USPTO-70k e DAPFAM. O protocolo de avaliação utilizou um codificador congelado, onde apenas os vieses conscientes de relação e os pesos contrastivos foram otimizados, garantindo comparação justa contra baselines.

• Classificação: O PHAGE superou todas as baselines, incluindo modelos adaptados ao domínio (BERT-for-Patents) e modelos conscientes de citação (PaECTER, PatEmbed). No CLEF-IP, alcançou um Macro-F1 de 0,635, uma melhoria significativa de +9,7 sobre o BERT-for-Patents. Notavelmente, as baselines de Rede Neural de Grafos (GNN) aplicadas post-hoc às incorporações degradaram o desempenho, sugerindo que injetar estrutura diretamente no codificador é superior ao processamento posterior.
• Recuperação: Na benchmark DAPFAM, o PHAGE alcançou um NDCG@100 de 0,498, superando a melhor baseline consciente de citação (QaECTER, 0,379) por 11,9 pontos e o BERT-for-Patents por 27,0 pontos.
• Agrupamento: O PHAGE alcançou o maior NMI (0,653) e Homogeneidade (0,704) no CLEF-IP, indicando que a topologia no nível de reivindicação afina a pureza intra-agrupamento.

Estudos de Ablação confirmaram que:

• A injeção estrutural (CDG + atenção) é o principal motor dos ganhos de desempenho.
• A máscara de conectividade rígida é mais crítica do que o viés de relação suave, embora ambos contribuam.
• Pesos de relação aprendíveis fornecem ganhos consistentes, com o modelo aprendendo a aumentar o peso de relações implícitas em camadas inferiores e amplificar vieses intra-reivindicação em camadas superiores.

Significado e Alegações

O artigo alega que o gargalo estrutural no aprendizado de representação de patentes reside dentro das patentes (topologia de reivindicação intra-documento) e não entre elas (redes de citação inter-patente).

As descobertas principais destacadas pelos autores incluem:

1. Superioridade da Estrutura Intra-documento: Apesar de usar apenas dependências dentro da patente, o PHAGE supera as baselines conscientes de citação que aproveitam milhões de links inter-patente verificados por examinadores. Isso sugere que a herança explícita e o estreitamento de escopo dentro de uma única patente fornecem um sinal mais potente para o aprendizado de representação.
2. Internalização do Viés Estrutural: O modelo internaliza com sucesso o viés indutivo estrutural durante o treinamento. Na inferência, o PHAGE opera como uma passagem direta padrão sem construção de grafo, mantendo quase todos os ganhos de desempenho. Isso elimina a sobrecarga computacional da construção de grafos durante a implantação.
3. Especialização por Profundidade: Os vieses aprendidos induzem especialização através das camadas do Transformer, com camadas inferiores focando na agregação inter-reivindicação e camadas superiores refinando representações intra-reivindicação.

Os autores concluem que o PHAGE oferece uma solução escalável para análise de patentes ao internalizar dependências legais e técnicas complexas nos parâmetros do modelo, removendo a necessidade de estruturas de grafo externas durante a inferência enquanto supera significativamente as abordagens existentes adaptadas ao domínio e conscientes de citação.