Resumo Técnico: Destilação Auto-Filtrada com Indicadores de Confiança Gerados por LLM para Classificação Confiável de Patentes

1. Declaração do Problema

Organizar corpora de patentes em larga escala é uma tarefa crítica de gerenciamento de informações, essencial para recuperação de arte anterior, descoberta tecnológica e tomada de decisões sobre propriedade intelectual. No entanto, a classificação automatizada de patentes enfrenta desafios únicos, incluindo terminologia especializada, estruturas complexas de reivindicações e ambiguidade estratégica, tornando-a mais difícil do que a classificação de texto em domínios gerais.

Abordagens recentes tentam aproveitar Modelos de Linguagem de Grande Escala (LLMs) para gerar racionalizações em linguagem natural (explicações) a fim de melhorar a interpretabilidade e treinar modelos "alunos" menores por meio de destilação de conhecimento. No entanto, existe uma falha significativa nesse paradigma: as racionalizações geradas por LLMs frequentemente contêm inconsistências lógicas, incompatibilidades de rótulos e desalinhamentos semânticos com taxonomias específicas do domínio (por exemplo, o Sistema de Classificação Cooperativo de Patentes ou CPC). Tratar essas racionalizações como supervisão de verdade fundamental absorve indiscriminadamente esses erros durante o treinamento, comprometendo a confiabilidade da classificação e propagando erros para processos de informação a jusante. Os métodos existentes frequentemente carecem de um mecanismo para avaliar quantitativamente a qualidade da racionalização durante o processo de aprendizado, levando à propagação de alucinações e desvio de domínio.

2. Metodologia: Destilação Auto-Filtrada (SFD)

Os autores propõem a Destilação Auto-Filtrada (SFD), um framework que reinterpreta as racionalizações geradas por LLMs não como rótulos de verdade fundamental, mas como indicadores de confiança. Em vez de correção post-hoc, a SFD incorpora garantia de qualidade diretamente no loop de treinamento, modulando dinamicamente a contribuição de cada instância de treinamento com base em uma pontuação unificada de confiança.

O framework opera em três etapas:

A. Geração de Predição e Racionalização Baseada em LLM

Um LLM professor processa um texto de patente de entrada $x$ para gerar:

1. Um conjunto de rótulos previstos $\hat{Y}$.
2. Uma racionalização em linguagem natural $r$ explicando a previsão.
   O modelo aluno é treinado para minimizar a perda em relação aos rótulos do professor, mas a racionalização $r$ é usada exclusivamente para estimar a confiabilidade da amostra, não como um sinal de supervisão direto.

B. Avaliação da Qualidade do Raciocínio (Pontuação de Confiança Não Supervisionada)

Para quantificar a confiabilidade sem anotação humana, a SFD integra três métricas não supervisionadas complementares em uma Pontuação de Confiança Combinada (CTS):

1. Auto-Consistência (SC): Mede a estabilidade lógica do raciocínio. O modelo professor gera $k$ racionalizações para a mesma entrada. A SC é calculada como a média da similaridade cosseno em pares de seus embeddings de sentença. Alta SC indica raciocínio estável; baixa SC sugere geração estocástica ou instável.
2. Alinhamento de Implicação de Classe (CEA): Avalia a coerência semântica entre a racionalização e a definição da classe atribuída. O sistema consulta um LLM para a definição da classe CPC prevista ($d_{\hat{y}}$) e calcula a similaridade cosseno entre o embedding da racionalização e o embedding da definição da classe. Isso garante que o raciocínio esteja alinhado com a taxonomia específica do domínio.
3. Pontuação de Concordância de LLM (LAS): Avalia a plausibilidade externa usando um LLM verificador independente ($LLM_{judge}$). Este modelo externo avalia o par $(r, \hat{y})$ e gera uma pontuação de confiança, mitigando a possível superconfiança do gerador.

A CTS é calculada como a média simples dessas três pontuações:
$$CTS(x) = \frac{1}{3}(SC(x) + CEA(x) + LAS(x))$$

C. Controle de Treinamento Consciente de Confiança

A CTS é usada para modular a contribuição de aprendizado de cada amostra de duas maneiras:

1. Pesagem Suave: A função de perda para cada amostra é escalada proporcionalmente à sua CTS. Amostras com baixas pontuações de confiança contribuem menos para as atualizações de gradiente.
2. Limiar Rígido: Amostras com CTS abaixo de um limiar predefinido $\tau$ são completamente excluídas do treinamento.

O objetivo final de treinamento minimiza a perda ponderada por confiança:
$$L = \sum_{x \in D} \mathbb{1}\{CTS(x) \ge \tau\} \cdot CTS(x) \cdot Loss(f_\theta(x), y)$$

3. Principais Contribuições

O artigo descreve três contribuições primárias:

• Destilação Seletiva Consciente de Confiança: A proposta da SFD, que reinterpreta racionalizações de LLM como indicadores de confiança e integra três métricas não supervisionadas (SC, CEA, LAS) para modular dinamicamente as contribuições de treinamento, avançando a destilação de conhecimento sob supervisão ruidosa.
• Framework de Organização de Informações Confiável: O mecanismo de pontuação de confiança fornece medidas quantitativas de confiança para cada decisão, permitindo auditabilidade e controle de qualidade transparente sobre a organização automatizada de conhecimento de patentes em escala.
• Validação em Domínio de Alto Risco: A validação da SFD na classificação de patentes, um domínio onde a má classificação tem consequências legais e econômicas tangíveis, demonstrando que a destilação consciente de confiança é eficaz precisamente onde a confiabilidade é mais crítica.

4. Resultados Experimentais

O framework foi avaliado no benchmark USPTO-2M, compreendendo mais de 2 milhões de patentes de utilidade dos EUA em 637 subclasses CPC.

• Desempenho vs. Baselines: A SFD alcançou uma pontuação Micro-F1 de 0,960, superando a baseline mais forte (Destilação Aumentada por Racionalização) em 1,6 pontos percentuais. Notavelmente, baselines de filtragem de métrica única (por exemplo, apenas Auto-Consistência ou apenas LLM-como-Juiz) tiveram desempenho inferior até mesmo à destilação ingênua, destacando a necessidade de uma abordagem multifacetada.
• Melhoria Macro-F1: Em arquiteturas de alunos maiores (por exemplo, Falcon3-3B), a SFD alcançou uma melhoria relativa de 38,7% no Macro-F1 em comparação com as baselines, demonstrando que o mecanismo de confiança permite efetivamente o aprendizado a partir de dados filtrados de alta qualidade, mesmo para classes minoritárias.
• Estudos de Ablação:
  • A CEA foi identificada como a métrica mais crítica; removê-la causou uma queda severa no desempenho (Acurácia de Subconjunto caiu de 0,930 para 0,695), confirmando que o alinhamento taxonômico é essencial para a classificação de patentes.
  • A LAS forneceu filtragem complementar contra alucinações factuais.
  • A SC estabilizou principalmente o desempenho para classes minoritárias.
• Agnosticismo de Modelo: O framework melhorou consistentemente o desempenho em quatro arquiteturas de alunos diversas (variando de 0,6B a 3,8B parâmetros), provando que o sinal de confiança é independente de viés indutivo específico do modelo.
• Correlação Humana: As pontuações de confiança mostraram uma forte correlação com julgamentos humanos de especialistas ($r = 0,685$), validando que as métricas não supervisionadas aproximam efetivamente a qualidade genuína do raciocínio.

5. Significado e Alegações

O artigo alega que a SFD representa uma mudança de paradigma na organização automatizada de conhecimento. Em vez de depender de um pipeline sequencial de "classificar primeiro, verificar depois", a SFD incorpora garantia de qualidade diretamente no processo de aprendizado.

• De Post-Hoc para Intrínseco: O framework transforma o controle de qualidade de uma função de auditoria externa em uma propriedade intrínseca do modelo aprendido.
• Confiança Decomponível: Ao decompor a pontuação de confiança em SC, CEA e LAS, o sistema fornece resultados de classificação "auto-documentados". Se uma decisão tiver alta estabilidade interna, mas baixo alinhamento taxonômico, o sistema sinaliza explicitamente esse modo de falha específico, auxiliando a revisão humana.
• Escalabilidade e Confiabilidade: Os autores argumentam que a SFD resolve a tensão entre escala de automação e confiabilidade organizacional. Permite o processamento de corpora massivos de patentes, garantindo que o próprio sinal de treinamento seja curado para confiabilidade, prevenindo a propagação de erros em fluxos de trabalho de propriedade intelectual de alto risco.

O trabalho conclui que, embora o mecanismo de confiança impulsione melhorias de desempenho, os ganhos específicos no Macro-F1 são dependentes de capacidade, sugerindo que modelos maiores são mais capazes de aproveitar as amostras filtradas de alta qualidade para aprender fronteiras de decisão complexas para classes raras.