Anticipating Innovation Using Large Language Models

Resumo Técnico: Antecipando a Inovação Usando Modelos de Linguagem de Grande Escala

Declaração do Problema
A previsão de inovação, definida como o surgimento de novas combinações tecnológicas, permanece um desafio fundamental para a ciência e a política. Embora as inovações genuínas sejam, por definição, sem precedentes, o quadro do "possível adjacente" sugere que o espaço de inovações realizáveis é limitado pelas configurações de conhecimento atuais. A dificuldade central reside em identificar quais combinações nessa fronteira têm maior probabilidade de serem realizadas antes que ocorram. As abordagens existentes frequentemente dependem de técnicas de ciência de redes aplicadas a redes de coocorrência da Classificação Internacional de Patentes (IPC) ou de embeddings estáticos de textos de patentes. No entanto, esses métodos frequentemente falham em capturar a evolução linguística dinâmica de como as tecnologias são descritas em todo o corpus antes de sua combinação formal, ou tratam os códigos IPC como entidades estáticas em vez de conceitos dependentes do contexto.

Metodologia
Os autores introduzem o TechToken, um modelo de linguagem baseado em transformadores projetado para tratar códigos de classificação tecnológica como partes integrantes do vocabulário do modelo de linguagem.

• Arquitetura TechToken: Diferentemente das abordagens padrão que geram um único vetor para uma patente e os média para representar um código IPC, o TechToken expande o vocabulário de um modelo BERT pré-treinado introduzindo novos tokens correspondentes a códigos IPC específicos. Durante o ajuste fino em resumos de patentes, o modelo processa sequências no formato: [CLS] título da patente [SEP] resumo da patente [SEP] [TT1] [TT2] ... [TTN], onde TTi representa um código IPC.
• Embeddings Contextuais: Essa arquitetura permite que o mecanismo de atenção opere diretamente entre palavras de linguagem natural e tokens tecnológicos. Consequentemente, cada código IPC adquire um embedding distinto para cada patente em que aparece, capturando a polissemia das tecnologias em diferentes domínios.
• Semelhança de Contexto (CS): Para quantificar a convergência linguística, os autores definem CS como a similaridade de cosseno entre os embeddings de duas tecnologias. Para o TechToken, que gera múltiplos embeddings por código (um por patente), o CS é calculado como a média das 1% mais altas similaridades de cosseno entre todos os pares possíveis de embeddings de tokens dos dois códigos em todo o corpus. Essa estatística agregada serve como uma medida global e emergente de como os contextos linguísticos de duas tecnologias estão convergindo.
• Definição de Inovação: O estudo define uma "inovação realizada" não meramente como uma primeira coocorrência, mas como uma estatisticamente significativa. Usando um modelo nulo de Chung-Lu, os autores calculam um escore-z para coocorrências para distinguir combinações novas genuínas de ruído aleatório, garantindo que a previsão vise inovações de alto impacto.
• Comparações com Linha de Base: O estudo compara o TechToken com:
  • Embedding Médio: Métodos padrão onde embeddings de patentes (gerados por BERT4Patents ou LLaMA 3.1) são média para representar um código IPC.
  • Modelos de Linguagem de Grande Escala: Incluindo um modelo LLaMA 3.1 8B ajustado finamente.
  • Modelos de Última Geração: Modelos especializados como PatentSBERTa e Paecter para tarefas específicas.

Principais Resultados

• Poder Preditivo da Convergência Linguística: A análise demonstra que a convergência linguística precede a convergência tecnológica. A Semelhança de Contexto (CS) entre dois códigos IPC começa a subir significativamente anos — frequentemente até duas décadas — antes que os códigos coocorram pela primeira vez em uma patente. Esse sinal é uma propriedade emergente de todo o corpus, não atribuível a qualquer documento ou inventor individual.
• Desempenho Superior de Previsão: O TechToken supera substancialmente todos os modelos de linha de base na previsão de primeiras coocorrências de códigos IPC.
  • Em termos de AUC-ROC, o TechToken (baseado em BERT) alcança pontuações em torno de 0,936–0,940, superando significativamente o modelo LLaMA 3.1 8B ajustado finamente (aprox. 0,856) e os modelos padrão BERT4Patents (aprox. 0,725–0,765).
  • Notavelmente, a abordagem TechToken permite que um modelo relativamente pequeno na escala BERT supere um modelo cerca de 25 vezes maior em contagem de parâmetros.
  • O desempenho melhora ao focar nas inovações mais estatisticamente significativas (escores-z mais altos), indicando que o modelo captura o significado tecnológico em vez de meras tendências de volume de patentes.
• Qualidade de Representação Geral: Além da previsão, o TechToken alcança desempenho de última geração em tarefas padrão relacionadas a patentes, incluindo classificação IPC, previsão de citações e correspondência título-resumo, confirmando a alta qualidade de suas representações internas.

Significado e Alegações
O artigo alega duas contribuições primárias:

1. Empírica: Fornece evidências de que o "possível adjacente" deixa um rastro legível e quantificável na linguagem coletiva das patentes muito antes que novas combinações sejam realizadas. O estudo postula que as mudanças na forma como comunidades de prática escrevem sobre tecnologias são uma assinatura precoce e observável de inovação iminente. Esse sinal é distribuído e emergente, visível apenas no nível da população completa de patentes.
2. Metodológica: Introduz um quadro geral para incorporar códigos de classificação simbólica diretamente no vocabulário de um modelo de linguagem. Ao tratar códigos como tokens, o modelo aprende representações dependentes do contexto de entidades estruturadas. Os autores sugerem que essa abordagem é amplamente aplicável a qualquer domínio onde documentos são marcados com vocabulários controlados (por exemplo, publicações científicas com códigos MeSH ou classificações comerciais).

Os autores concluem que a linguagem coletiva da invenção atua como um indicador antecedente da mudança tecnológica. Eles argumentam que modelos de linguagem relativamente leves, quando equipados com a estrutura simbólica apropriada (como o TechToken), podem ler esses indicadores com precisão, oferecendo uma janela principial e precoce para possibilidades tecnológicas futuras.

Limitações
Os autores reconhecem que sua análise opera no nível de grupo IPC, o que pode granular grosseiramente o espaço tecnológico e perder recombinações dentro de um único grupo. Além disso, o quadro atual foca em combinações pares, enquanto a inovação frequentemente envolve montagens de ordem superior de três ou mais tecnologias. Estas são identificadas como extensões naturais para trabalhos futuros.