DAPFAM: A Domain-Aware Family-level Dataset to benchmark cross domain patent retrieval

O artigo apresenta o DAPFAM, um novo conjunto de dados de nível familiar para patentes com divisões explícitas de domínio que revela uma lacuna significativa de desempenho na recuperação de arte anterior entre domínios diferentes, servindo como um teste reprodutível para o desenvolvimento de sistemas de recuperação de patentes mais robustos.

O essencial

Imagine que você é um detetive tentando encontrar uma peça de um quebra-cabeça que se encaixe perfeitamente em uma imagem que você tem em mãos. Agora, imagine que essa imagem é uma invenção (um pedido de patente) e a peça que você procura é uma invenção antiga (chamada de "arte anterior") que já existe e que pode impedir sua nova invenção de ser aprovada.

O problema é que, às vezes, a peça antiga não está na mesma caixa de quebra-cabeças que a sua. Ela pode estar em uma caixa de "medicina", enquanto a sua é de "eletrônica", mas elas se conectam de forma surpreendente.

Aqui está a explicação do artigo DAPFAM como se fosse uma história para o dia a dia:

1. O Grande Problema: O "Choque de Domínios"

Até hoje, os sistemas de busca de patentes funcionavam como se todos os livros de uma biblioteca estivessem organizados perfeitamente por assunto. Se você procurava algo sobre "médicos", o sistema só olhava na seção de medicina.

Mas a inovação moderna é como um cozinheiro que usa um martelo. Um médico pode precisar de um software (tecnologia da informação) para operar um robô. Se o sistema de busca só olhar para a seção de "medicina", ele nunca vai achar o manual do robô na seção de "informática", mesmo que seja essencial para a invenção. Isso é o desafio de busca entre domínios.

2. A Solução: O "DAPFAM" (O Novo Mapa do Tesouro)

Os autores criaram um novo conjunto de dados chamado DAPFAM. Pense nele como um mapa de tesouro super detalhado que foi construído especificamente para testar se os detetives (sistemas de busca) são bons em encontrar peças em caixas diferentes.

• O que tem nele? Mais de 1.200 "pedidos de busca" e 45.000 "candidatos a peças".
• A Grande Diferença: Eles separaram os testes em dois grupos:
  • Domínio Interno (IN): A peça antiga está na mesma seção da biblioteca que a sua. (Fácil de achar).
  • Domínio Externo (OUT): A peça antiga está em uma seção totalmente diferente. (Muito difícil de achar).

3. O Experimento: Testando os Detetives

Os pesquisadores colocaram vários "detetives" (algoritmos de busca) para trabalhar neste mapa. Eles testaram duas abordagens principais:

• O Detetive Palavras-Chave (BM25): Ele é como um funcionário da biblioteca que só sabe ler o título e as palavras exatas. Se você disser "carro", ele só acha documentos com a palavra "carro".
• O Detetive Inteligente (Dense/Transformers): Ele é como um estudante de pós-graduação que entende o significado das coisas. Se você disser "veículo de quatro rodas", ele entende que é um carro, mesmo sem a palavra exata.

O Resultado Surpreendente:
Quando a busca era fácil (mesma seção), o Detetive Inteligente era incrível. Mas, quando a busca era difícil (seções diferentes, o "Domínio Externo"), ele quase desistiu! Ele ficou confuso porque as palavras e os conceitos eram muito diferentes.

O Detetive Palavras-Chave, que parecia "burro" no início, mostrou-se mais resistente nessas buscas difíceis. Ele conseguia pegar conexões simples que o inteligente ignorava.

4. A Estratégia Vencedora: A "Fusão de Opiniões"

O que os pesquisadores descobriram de mais valioso foi como combinar os dois. Eles usaram uma técnica chamada Fusão Recíproca de Classificação (RRF).

Imagine que você tem dois consultores:

1. Um que é especialista em palavras exatas.
2. Outro que é especialista em conceitos e ideias.

Em vez de escolher apenas um, você pede a opinião de ambos. Se o especialista em palavras acha que um documento é relevante, e o especialista em conceitos também, você dá um "empurrão" extra para esse documento no topo da lista.

A descoberta de ouro:

• A busca por "passagens" (trechos de texto) é melhor do que buscar o documento inteiro. É como ler apenas os parágrafos mais importantes de um livro em vez de ler o livro todo de uma vez. Isso ajuda a encontrar a agulha no palheiro.
• A combinação (Híbrida) é a campeã. Juntar o "palavras-chave" com o "inteligente" deu os melhores resultados, especialmente nas buscas difíceis entre domínios.

5. A Lição Final para o Mundo Real

O artigo nos ensina que, no mundo das patentes, nenhuma ferramenta é perfeita sozinha.

• Se você tem um computador superpoderoso, use a busca inteligente por trechos de texto.
• Se você tem um orçamento limitado, use a busca por palavras-chave combinada com a inteligente (o método híbrido).
• O maior desafio: Encontrar invenções antigas que estão em áreas de conhecimento totalmente diferentes (como medicina e software) continua sendo muito difícil para qualquer computador. O DAPFAM é a ferramenta que vai ajudar os cientistas a criar sistemas que consigam fazer essa ponte no futuro.

Em resumo: O DAPFAM é um novo "campo de treinamento" que mostra que, para encontrar as melhores ideias antigas em meio a milhões de documentos, precisamos de sistemas que sejam tanto "letrados" (leiam as palavras) quanto "inteligentes" (entendam o contexto), e que saibam misturar as duas habilidades para não perder nenhuma descoberta importante.

Resumo técnico

Resumo Técnico: DAPFAM

1. O Problema

A recuperação de arte anterior (prior-art retrieval) em patentes é fundamental para a avaliação de inovação e estratégia de propriedade intelectual. No entanto, um desafio crítico e persistente é a recuperação cruzada de domínios (cross-domain retrieval), onde documentos relevantes pertencem a classificações tecnológicas diferentes da consulta.

• Limitações Atuais: Benchmarks existentes (como CLEF-IP, TREC Patent Track, MAREC) carecem de partições explícitas de domínio, focam em jurisdições únicas ou não agregam patentes ao nível da família, mantendo redundância internacional.
• O Desafio: Sistemas de recuperação tradicionais, otimizados para correspondência dentro do mesmo domínio, frequentemente falham ao identificar conexões entre tecnologias distintas devido a lacunas de vocabulário, terminologias técnicas divergentes e estruturas documentais variadas.

2. Metodologia e Construção do Dataset (DAPFAM)

Os autores introduzem o DAPFAM, um benchmark de nível familiar projetado para avaliar sistematicamente a recuperação dentro e fora do domínio.

• Fonte de Dados: Dados extraídos do Lens.org, cobrindo múltiplas jurisdições (USPTO, EPO, WIPO, etc.).
• Arquitetura de Curadoria (Medallion Architecture):
  • Bronze: Ingestão bruta de dados em JSON Lines.
  • Prata: Filtragem rigorosa (apenas documentos em inglês completos, datas de reivindicação $\ge$ 2000, mínimo de 100 citações, normalização de códigos IPC para 3 caracteres).
  • Ouro: Consolidação ao nível da família de patentes (agregando título, resumo, reivindicações e descrição de todas as jurisdições de uma mesma invenção) para eliminar redundância.
• Estrutura do Dataset:
  • 1.247 famílias de consulta (queries) balanceadas entre diversos domínios tecnológicos.
  • 45.336 famílias de alvo (targets), incluindo documentos citados (positivos) e não citados (negativos).
  • 49.869 pares de avaliação com rótulos de relevância baseados em citações.
• Definição de Domínio (Inovação Chave):
  • In-Domain (IN): Consulta e alvo compartilham pelo menos um código IPC de 3 caracteres (ex: A61).
  • Out-of-Domain (OUT): Não há sobreposição de códigos IPC de 3 caracteres.
• Configuração Experimental:
  • Backends: BM25 (lexical) e um encoder denso multilíngue (Snowflake Arctic Embed) quantizado em int8.
  • Granularidade: Recuperação em nível de documento vs. nível de passagem (janelas de texto fixas).
  • Estratégias de Agregação: Para nível de passagem, testaram-se maxP (máximo), avgP (média), sumP (soma) e avg_top3 (média dos 3 melhores).
  • Fusão Híbrida: Reciprocal Rank Fusion (RRF) combinando resultados lexicais e densos.
  • Métricas: NDCG@100 e Recall@100.

3. Principais Contribuições

1. Primeiro Benchmark Familiar com Partições Explícitas: O DAPFAM é o primeiro dataset a distinguir sistematicamente cenários de recuperação In-Domain e Out-of-Domain baseados na sobreposição de códigos IPC3, permitindo medir diretamente a dificuldade da transferência de domínio.
2. Análise Empírica Abrangente: Em vez de comparar múltiplos modelos, o estudo varia decisões de design (granularidade, campos de consulta, estratégias de agregação) para identificar melhores práticas para recuperação cruzada.
3. Descoberta Fundamental sobre o "Gap" de Domínio: Demonstra que métodos densos perdem sua vantagem sobre abordagens lexicais em cenários Out-of-Domain, com uma queda drástica de desempenho.

4. Resultados Chave

Os experimentos cobriram 249 configurações únicas. Os principais achados incluem:

• O "Gap" de Domínio: O desempenho Out-of-Domain é aproximadamente 5 vezes menor que o In-Domain em todas as configurações.
  • Métodos densos caem de um NDCG@100 de ~0,38 (IN) para ~0,06 (OUT).
  • Métodos lexicais (BM25) mostram maior robustez relativa, mantendo cerca de 20% do desempenho original, enquanto métodos densos caem para ~17%.
• Granularidade (Passagem vs. Documento): A recuperação em nível de passagem supera consistentemente a recuperação em nível de documento para ambos os backends, pois concentra evidências tópicas e reduz o ruído de documentos longos.
• Representação de Consulta: A combinação Título + Resumo + Reivindicações (Title+Abstract+Claims) oferece o melhor desempenho em todos os cenários.
• Estratégias de Agregação:
  • Para cenários In-Domain com métodos densos: avg_top3 (média dos 3 melhores) é superior.
  • Para cenários Out-of-Domain e para BM25: maxP (melhor pontuação única) é superior, pois evita a diluição do sinal por conteúdo irrelevante.
• Fusão Híbrida (RRF):
  • A fusão RRF melhora consistentemente o desempenho.
  • Descoberta de Eficiência: A fusão híbrida apenas em nível de documento (Document-only RRF) oferece ganhos de eficácia substanciais (quase 3x maiores que a fusão em nível de passagem) com custo computacional muito menor, sendo uma estratégia ideal para ambientes com recursos limitados.
• Comprimento da Passagem: Métodos densos performam melhor com passagens de 1024-2048 tokens, enquanto o BM25 beneficia-se de passagens mais longas (4096+ tokens).

5. Significado e Implicações

• Desafio Fundamental: O estudo revela que a recuperação cruzada de domínios em patentes é um problema fundamental onde representações semânticas aprendidas (transformers) falham em generalizar quando os vocabulários técnicos divergem significativamente.
• Relevância do BM25: Abordagens lexicais tradicionais mantêm uma robustez surpreendente em cenários de mudança de domínio, sugerindo que sistemas de busca de patentes não devem depender exclusivamente de embeddings semânticos.
• Diretrizes de Implantação:
  • Para máxima eficácia: Use recuperação em nível de passagem com avg_top3 (se o domínio for conhecido) ou maxP (para cenários cruzados).
  • Para equilíbrio eficiência-eficácia: Use Fusão Híbrida RRF apenas em nível de documento, que oferece a maior parte dos ganhos de precisão sem o custo de indexação e agregação de passagens.
• Reprodutibilidade: O dataset e todos os códigos de configuração estão disponíveis publicamente, estabelecendo uma base para pesquisas futuras em adaptação de domínio e sistemas de recuperação de patentes mais robustos.

Em suma, o DAPFAM expõe as limitações atuais dos sistemas de recuperação de patentes em cenários interdisciplinares e fornece um caminho claro para o desenvolvimento de sistemas híbridos e conscientes do domínio.