Resumo Técnico: Grandes Modelos de Linguagem para Classificação de Patentes

Declaração do Problema

A classificação de patentes em códigos da Classificação Cooperativa de Patentes (CPC) é uma tarefa fundamental para a análise de mudanças tecnológicas, mas apresenta desafios significativos devido à sua natureza hierárquica, multirrótulo e altamente desbalanceada. Embora modelos de codificadores supervisionados (ex: BERT, SciBERT) tenham se tornado o padrão de facto para classificação em larga escala, eles exibem um viés bem documentado em direção a subclasses frequentes, tendo dificuldade em classificar com precisão tecnologias raras, emergentes ou de domínios cruzados. Por outro lado, os Grandes Modelos de Linguagem (LLMs) oferecem capacidades zero-shot e few-shot que podem lidar melhor com essas categorias de "cauda longa". No entanto, o grau em que os LLMs podem complementar os codificadores neste domínio específico, e se seus benefícios justificam seus custos computacionais e ambientais substancialmente mais elevados, permanece uma questão empírica aberta.

Metodologia

Os autores conduzem uma comparação sistemática entre classificadores baseados em codificadores supervisionados e LLMs de instrução de pesos abertos utilizando o conjunto de dados de referência USPTO-70k (70.250 patentes). O estudo emprega um protocolo de divisão temporal (treinamento: 2006–2017; validação: 2018; teste: 2019) para emular condições reais de implementação.

Modelos Avaliados

1. Baselines de Codificadores: Três codificadores baseados em Transformer foram ajustados (fine-tuned) nos dados de treinamento:
   • BERT: Propósito geral.
   • SciBERT: Adaptado ao domínio de literatura científica.
   • PatentSBERTa: Adaptado especificamente para corpora de patentes.
2. Grandes Modelos de Linguagem (LLMs): Quatro LLMs de instrução na faixa de 7–8 bilhões de parâmetros (escolhidos pela viabilidade em estações de trabalho de GPU única) foram avaliados inicialmente sem ajuste fino completo:
   • Phi-3 Mini, Mistral-7B, LLaMA-3.1-8B e Qwen-2.5-7B.

Estratégias de Inferência para LLMs

Os LLMs foram avaliados sob quatro configurações de prompting para avaliar o impacto do contexto:

• Zero-shot: Sem exemplos fornecidos.
• Few-shot: Inclui 5 exemplos rotulados (2 estáticos, 3 recuperados dinamicamente com base na similaridade semântica).
• Geração Aumentada por Recuperação (RAG): Recupera as definições das top-20 subclasses de CPC (códigos e descrições) relevantes para o texto da patente para restringir o espaço de saída.
• Híbrido: Combinações de Few-shot e RAG.

Adaptação e Validação Externa

• Ajuste Fino de Parâmetros Eficientes: O melhor LLM (Qwen-2.5-7B) foi adicionalmente adaptado usando LoRA (Low-Rank Adaptation) para testar se o aprendizado supervisionado leve poderia fechar a lacuna de desempenho.
• Validação Externa: Para avaliar a generalização, os modelos foram avaliados em um conjunto de dados independente de 10.000 patentes do Escritório Europeu de Patentes (EPO) (2019–2022) sem retreinamento.
• Métricas de Eficiência: Custo computacional, tempo de inferência e consumo de energia (emissões de CO2) foram quantificados usando o framework CodeCarbon.

Métricas de Avaliação

O desempenho foi medido usando Micro-F1 (dominado por rótulos frequentes), Macro-F1 (equilibrado por rótulo) e F1 Hierárquico (considerando a estrutura da taxonomia CPC). A significância estatística foi avaliada por meio de testes não paramétricos pareados (Wilcoxon signed-rank) no desempenho por subclasse.

Resultados Principais

1. Trocas de Desempenho: Frequência vs. Raridade

• Dominância dos Codificadores em Subclasses Frequentes: Codificadores supervisionados, particularmente o SciBERT, alcançaram escores de Micro-F1 superiores (0.439 vs. 0.182 para a melhor configuração de LLM). Este desempenho é impulsionado por sua capacidade de classificar corretamente as subclasses de alta frequência que dominam o conjunto de dados.
• Vantagem dos LLMs em Subclasses Raras: Os LLMs, especialmente quando aumentados com Few-shot + RAG, demonstraram um desempenho significativamente melhor em subclasses raras e infrequentes (os 20% inferiores da distribuição de frequência). Eles alcançaram escores de Macro-F1 e F1 Hierárquico mais altos, indicando uma melhor cobertura da cauda longa.
• Limitações do LoRA: O ajuste fino de parâmetros eficientes (LoRA) do Qwen-2.5-7B não gerou melhorias consistentes sobre a inferência baseada apenas em prompting, sugerindo que, para esta tarefa, a contextualização em tempo de inferência (prompting e recuperação) é mais eficaz do que a adaptação supervisionada leve.

2. Custos Computacionais e Ambientais

• Lacuna de Eficiência: Modelos baseados em codificadores são ordens de magnitude mais eficientes. Eles completam a inferência em 1–2 minutos com consumo de energia de ~0.01 kWh.
• Sobrecarga dos LLMs: A inferência de LLMs requer de 30 minutos a mais de 4 horas por execução, consumindo 0.2–2.1 kWh. Os codificadores são aproximadamente 15–250× mais rápidos e 20–200× mais eficientes energeticamente que os LLMs.
• Ineficiência do Zero-shot: Configurações zero-shot de LLMs foram identificadas como particularmente ineficientes, oferecendo baixo desempenho de classificação com altos custos de energia.

3. Validade Externa

As trocas de desempenho observadas no conjunto de dados USPTO foram robustas quando aplicadas ao conjunto de dados EPO. Os codificadores mantiveram o Micro-F1 superior, enquanto os LLMs continuaram a mostrar melhor cobertura de subclasses raras, confirmando que os achados não são específicos de um único escritório de patentes ou conjunto de dados.

Significância e Contribuições

O artigo argumenta que nenhum dos enfoques é universalmente superior; em vez disso, eles desempenham papéis complementares na classificação de patentes:

1. Potencial Híbrido: O estudo motiva abordagens de classificação híbridas onde codificadores eficientes lidam com a classificação rotineira e de alto volume de tecnologias estabelecidas, enquanto os LLMs são implantados seletivamente para auxiliar com tecnologias raras, emergentes ou de domínios cruzados, onde os codificadores exibem baixa revocação (recall).
2. Reflexividade Metodológica em Cientometria: Os autores destacam que a escolha do modelo de classificação molda sistematicamente a visibilidade das categorias tecnológicas em análises subsequentes. Depender exclusivamente de codificadores pode introduzir um viés que torna tecnologias emergentes ou fracamente institucionalizadas "invisíveis" em indicadores patentométricos.
3. Implementação de IA Responsável: Os achados enfatizam a necessidade de equilibrar o desempenho preditivo com a sustentabilidade. O alto custo energético dos LLMs os torna inadequados para aplicação indiscriminada e de larga escala, sugerindo que seu uso deve ser direcionado e focado em propósitos específicos.

Em conclusão, o artigo fornece uma base empírica controlada para compreender as trocas entre a escalabilidade dos modelos baseados em codificadores e a flexibilidade semântica dos LLMs, defendendo uma abordagem pluralista para a classificação de patentes que considere o desbalanceamento de dados, as restrições computacionais e os objetivos específicos da análise.