Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding

Resumo Técnico: Geração Autoregressiva de Reivindicações de Patentes com Aumento de Ponteiro via Decodificação Conjunta de Topologia e Conteúdo

Definição do Problema
Modelos de linguagem autoregressivos geram texto como sequências planas de tokens, carecendo de mecanismos explícitos para raciocinar sobre relações hierárquicas entre segmentos de saída. Essa limitação é aguda na geração de reivindicações de patentes, onde um conjunto de reivindicações forma uma "Floresta de Dependência de Reivindicações". Nesta estrutura, reivindicações independentes enraízam árvores, e reivindicações dependentes devem citar reivindicações antecedentes por meio de referências hierárquicas. Crucialmente, a hierarquia carrega restrições estatutárias: o escopo de proteção deve estreitar-se monotonicamente com a profundidade. A falha em aderir a essas restrições (por exemplo, uma reivindicação dependente que amplia o escopo de sua reivindicação pai ou falha ao citar um antecedente válido) constitui um fundamento para rejeição pelos escritórios de patentes.

Abordagens existentes sofrem de três limitações primárias:

1. Separação Arquitetural: A decodificação autoregressiva padrão não consegue modelar dependências pai/filho não lineares, frequentemente produzindo cadeias de dependência quebradas. Métodos que preveem a topologia isoladamente do conteúdo ou que impõem gramática de superfície sem consistência semântica falham em garantir que a redação de uma reivindicação dependente reflita o escopo de sua reivindicação pai.
2. Ausência de Regularização de Escopo: Nenhum método existente fornece um viés indutivo para o requisito estatutário de que o escopo se estreita com a profundidade, levando modelos a gerar reivindicações dependentes que inadvertidamente ampliam ou contradizem seus pais.
3. Ausência de Sinais Negativos: Alinhar modelos com essas restrições requer exemplos contrastivos de saídas deficientes. No entanto, os corpora de patentes públicos consistem quase exclusivamente de aplicações concedidas, não deixando um "sinal negativo" (florestas defeituosas) para o modelo aprender.

Metodologia: SPG (Geração de Patentes Sensível à Estrutura)
Os autores propõem o SPG, um framework que prevê a topologia dentro da passagem autoregressiva, garantindo que a representação que emite os tokens de uma reivindicação seja a mesma que decide onde essa reivindicação se anexa. O framework opera em dois estágios:

• Estágio I: Treinamento Sensível à Estrutura

  • Decodificação com Aumento de Ponteiro: O decodificador autoregressivo é aumentado com uma cabeça de ponteiro (pointer head). No delimitador de abertura de cada reivindicação dependente, esta cabeça seleciona um pai a partir do conjunto de reivindicações precedentes. Crucialmente, o ponteiro lê os mesmos estados ocultos usados para a predição de tokens. Isso permite que os gradientes da tarefa de seleção de pai reformem as representações do decodificador, tornando o decodificador inerentemente ciente da topologia.
  • Objetivos Auxiliares:
    • Perda de Consistência Estrutural: Uma perda de entropia cruzada supervisiona a seleção de pai pelo ponteiro contra os links de verdade fundamental (ground-truth).
    • Regularização de Escopo Hierárquico: Uma restrição de margem adaptativa à profundidade incentiva a representação de uma reivindicação dependente a permanecer próxima à representação de sua reivindicação pai. O raio permitido para essa distância diminui geometricamente com a profundidade, impondo o requisito estatutário de que o escopo diminui conforme a árvore se aprofunda.

• Estágio II: Otimização de Preferência Legal (LPO)

  • Para abordar a falta de sinais negativos, os autores sintetizam candidatos deficientes amostrando do modelo do Estágio I em diferentes temperaturas.
  • Uma função de pontuação determinística (PatentScorerule) avalia esses candidatos com base em contagem de reivindicações, padrões estruturais, consistência de antecedentes, comprimento e sobreposição de conteúdo.
  • Objetivo Ponderado pela Severidade: Ao contrário da DPO padrão, que trata todos os pares de preferência igualmente, o SPG escala a perda contrastiva pela severidade da deficiência no exemplo rejeitado. Isso evita o "colapso de modo" (mode collapse), onde o modelo poderia tratar um ponto e vírgula ausente com a mesma penalidade que uma subárvore inteira ausente.

Principais Contribuições

1. Decodificação Conjunta: Uma cabeça de ponteiro prevê dependências de pai dentro da passagem autoregressiva, permitindo que a topologia e o conteúdo sejam aprendidos em uma única passagem direta (forward pass) sem uma etapa de parsing separada.
2. Regularização de Escopo: Uma margem adaptativa à profundidade com raios que decaem geometricamente estreita o acoplamento pai-filho conforme a profundidade aumenta, atuando especificamente nos pares identificados pelo objetivo do ponteiro.
3. Alinhamento Ponderado pela Severidade: Ao escalar os pares de preferência com base na severidade da deficiência do exemplo rejeitado, o método evita o colapso de modo, um modo de falha induzido pela ponderação uniforme em tarefas de geração estruturada.
4. Dissociação Empírica: O estudo demonstra que a conformidade estrutural não escala com o tamanho dos parâmetros ou pré-treinamento de domínio; modelos variando de 6B a 141B parâmetros falham em aprender competência hierárquica sem vieses indutivos explícitos, enquanto a fluência escala naturalmente.

Resultos
Avaliado no dataset HUPD-DCG usando um backbone Llama-3-8B-Instruct:

• Precisão Estrutural: O SPG recupera 79,0% dos links de pai reais (Acurácia de Aresta de Dependência), uma métrica que nunca foi diretamente supervisionada pelo treinamento de recompensa.
• Consistência Referencial: O modelo melhora a consistência de antecedentes (AC) de 0,292 (baseline supervisionado) para 0,478, indicando uma melhor resolução de referências através de estruturas de árvore profundas.
• Fluência: O modelo atinge escores de BLEU (37,66) e ROUGE-1 (64,18) de estado da arte entre os modelos ajustados, igualando a fluência do baseline supervisionado enquanto supera significativamente este em métricas estruturais.
• Avaliação de Especialistas: Dois profissionais de patentes avaliaram o modelo completo significativamente superior (4,05 geral) ao baseline supervisionado (3,52) e aos baselines zero-shot, corroborando as métricas automáticas.
• Leis de Escala: O aumento do tamanho do modelo de 6B para 141B parâmetros melhorou a fluência, mas não melhorou os escores de padrão estrutural, confirmando que a competência hierárquica requer viés arquitetural explícito em vez de apenas capacidade.

Significância e Alegações
O artigo argumenta que, para tarefas de geração onde os resultados carregam uma estrutura aplicável (jurídica ou programática), as decisões estruturais devem ser integradas ao processo de geração em vez de tratadas post-hoc ou via restrições de superfície. Os autores postulam três achados principais:

1. A escala não é um substituto para a supervisão estrutural: Mecanismos estruturais explícitos são necessários antes de aumentar o tamanho do modelo quando as tarefas envolvem relações entre segmentos não adjacentes.
2. A otimização de preferência requer ponderação sensível à severidade: Em geração estruturada, as deficiências não são intercambiáveis; ponderar os gradientes pela severidade da violação é necessário para evitar o colapso.
3. Estrutura e conteúdo são melhor separados no tempo: Restringir primeiro o arcabouço estrutural (Estágio I) e depois otimizar o conteúdo dentro desse arcabouço (Estágio II) produz melhores resultados do que equilibrar objetivos concorrentes simultaneamente.

Os autores mantêm a modéstia quanto às suas alegações, observando que o sistema é destinado a auxiliar profissionais de patentes e requer revisão especializada. Eles reconhecem limitações quanto às regras de dependência específicas de jurisdição (ex: múltiplas dependências na EPO vs. pai único na USPTO) e o fato de que sua avaliação depende de execuções únicas sem testes de significância. O trabalho foca estritamente no texto das reivindicações e na estrutura de dependência, excluindo estratégias de redação de patentes mais amplas, como argumentação de novidade.