Resumo Técnico: RAPT para Classificação Multi-Rótulo

Declaração do Problema

Em pipelines industriais de compreensão de documentos multi-rótulo, a transição da saída do modelo (vetores de pontuação) para um conjunto final de rótulos atribuídos é um gargalo crítico. Embora os classificadores gerem pontuações de confiança por rótulo, determinar o corte ótimo (limiar) para selecionar o conjunto final de rótulos é desafiador devido a vários fatores:

• Cardinalidade Dependente da Instância: O número de rótulos relevantes varia significativamente entre os documentos.
• Custos de Erro Assimétricos: Falsos positivos (rótulos espúrios) e falsos negativos (rótulos perdidos) têm consequências operacionais diferentes, frequentemente acionando fluxos de trabalho incorretos de extração ou verificação a jusante.
• Heterogeneidade de Dados: Ambientes industriais envolvem OCR ruidoso, distribuições de rótulos desequilibradas e formatos de documentos em evolução, tornando os limiares estáticos globais frágeis e difíceis de manter.
• Restrições de Implantação: Soluções existentes frequentemente exigem o re-treinamento de modelos ou otimização complexa por rótulo, o que é impraticável para sistemas legados ou coleções de documentos em mudança rápida.

Metodologia: RAPT

Os autores propõem o RAPT (Limiarização Pós-Hoc Aumentada por Recuperação), um wrapper agnóstico ao modelo que aplica Raciocínio Baseado em Casos (CBR) para adaptar decisões de limiarização no momento da inferência, sem re-treinar o classificador subjacente.

Componentes Principais

1. Construção da Base de Casos:

   • Construída a partir de dados existentes de treinamento/validação sem anotação adicional.
   • Cada caso $C$ consiste em uma instância de entrada $x$, uma incorporação do modelo $z$, o vetor de pontuação previsto pelo modelo $\hat{Y}$ e o vetor de rótulos verdadeiros $Y$.
   • Evidências de limiarização são derivadas automaticamente analisando a discrepância entre $\hat{Y}$ e $Y$ para cada instância de treinamento.

2. Recuperação de Casos:

   • Para um documento de consulta, o sistema recupera os $k$ casos mais semelhantes da base de casos usando similaridade cosseno no espaço de incorporação ($z_q$ vs. $z_i$).
   • Pontuações de similaridade servem como pesos de importância ($w_i$) para a etapa de adaptação.

3. Adaptação do Vizinho (Refinamento de Pontuação):

   • Em vez de votação direta de rótulos, o RAPT adapta o vetor de pontuação da consulta $\hat{Y}_q$ usando correções residuais dos vizinhos recuperados.
   • A pontuação adaptada para um vizinho $i$ é calculada como: $Y_{q,i} = \hat{Y}_i + \Delta_{1,i} + \Delta_{2,i}$.
     • $\Delta_{1,i}$ (Adaptação do Modelo): Alinha o perfil de pontuação do vizinho à saída bruta da consulta ($\hat{Y}_q - \hat{Y}_i$).
     • $\Delta_{2,i}$ (Correção Residual): Transfere o padrão de erro do vizinho ($Y_i - \hat{Y}_i$).
   • O vetor de pontuação adaptado final $\tilde{Y}_q$ é uma média ponderada pela similaridade desses vetores corrigidos.

4. Estratégias de Limiarização Dinâmica:
   As pontuações adaptadas são convertidas em rótulos binários usando um limiar específico da consulta $\tau_q$ determinado por duas estratégias de vizinhança:

   • AvgCount ($Rapt^\#$): Estima o número esperado de rótulos ativos ($k^*$) calculando a média da cardinalidade dos vizinhos. O limiar é definido para selecionar as $k^*$ melhores pontuações.
   • Calibração de Rank ($Rapt^\geq$): Calcula o limiar como a média ponderada das pontuações de confiança mínimas atribuídas a rótulos positivos na vizinhança recuperada. Isso estabelece uma "fronteira local" para o que constitui um rótulo positivo em contextos semelhantes.

Contribuições Principais

1. Framework para Construção Automatizada de Base de Casos: Um método para construir uma base de casos CBR a partir de dados de treinamento padrão, inferindo evidências de limiarização diretamente dos rótulos verdadeiros e pontuações do modelo, eliminando a necessidade de anotação humana extra.
2. Limiarização Dinâmica Impulsionada por Vizinhança: Introdução de estratégias específicas de adaptação (AvgCount e Calibração de Rank) que utilizam informações de erro residual de instâncias semelhantes para ajustar vetores de pontuação antes da limiarização.
3. Avaliação Abrangente: Validação em um conjunto de dados industrial (WM Nicol) e seis benchmarks públicos (abrangendo domínios de notícias, jurídico, médico e comércio eletrônico), demonstrando melhorias consistentes sobre baselines estáticas.
4. Análise de Eficiência: Um estudo comparativo mostrando a superioridade do RAPT sobre Modelos de Linguagem de Grande Escala (LLMs) de Few-Shot em termos de velocidade de inferência e consumo de recursos.

Resultados

Desempenho em Dados Industriais e Públicos

• Cenário Industrial (WM Nicol): O RAPT alcançou seu melhor desempenho com aprendizes de métrica (especificamente ProtoNet), atingindo um Macro-F1 de 0,87. Isso representou um ganho relativo de 10,8% sobre um limiar global fixo (0,5) e um ganho de 11,1% sobre um limiar global otimizado.
• Backbones Transformer: Embora transformers totalmente fine-tuned mostrassem ganhos modestos (devido a pontuações já calibradas), o RAPT impulsionou significativamente modelos mal calibrados. Por exemplo, um modelo BERT-base pré-treinado melhorou de um Macro-F1 de 0,096 para 0,631 quando combinado com o RAPT.
• Benchmarks Públicos: Em 175 combinações modelo-conjunto de dados (7 conjuntos de dados, 4 aprendizes de métrica, 7 transformers), o RAPT superou a melhor baseline estática (global, otimizada ou por rótulo) em 130 casos (74,3%), com uma melhoria média de Macro-F1 de +0,093.

Comparação de Eficiência (WM Nicol)

As configurações do RAPT demonstraram vantagens substanciais de eficiência sobre baselines de LLMs de Few-Shot (Qwen3-32B):

• Velocidade de Inferência: O RAPT foi 115× mais rápido (38–236 ms por documento vs. 27–48 segundos para LLMs).
• Uso de Memória: O RAPT exigiu 13,5× menos memória de GPU ($\le$ 2,23 GB vs. >30 GB).
• Custo: O RAPT ofereceu custos significativamente menores normalizados por hardware, tornando-o adequado para fluxos de trabalho industriais de alto rendimento.

Modos de Falha

Os autores identificaram dois modos de falha específicos no cenário industrial:

1. Falsos Positivos Impulsionados por Co-ocorrência: Em casos onde rótulos co-ocorrem frequentemente (por exemplo, "Nota de Resíduos Perigosos" e "Nota SEPA"), a recuperação de vizinhos contendo ambos os rótulos inflou as pontuações, levando a previsões espúrias. A estratégia de Calibração de Rank ($Rapt^\geq$) mitigou parcialmente isso ao aplicar um limiar mais conservador.
2. Ambiguidade Formato-Conteúdo: Quando os formatos de documentos (por exemplo, pedidos de compra no estilo de e-mail) eram mais semelhantes do que o conteúdo semântico, a qualidade da recuperação degradou, reforçando decisões incorretas. Isso destaca a dependência da qualidade do espaço de incorporação do backbone.

Significado e Alegações

O artigo posiciona o RAPT como uma solução orientada à implantação para a "última milha" da classificação multi-rótulo. Seu significado principal reside em:

• Agnosticismo de Modelo: Atua como um wrapper para qualquer preditor que forneça incorporações e pontuações (aprendizes de métrica, transformers fine-tuned), não exigindo mudanças arquitetônicas ou re-treinamento.
• Robustez à Evolução: Ao confiar em evidências locais de uma base de casos, adapta-se a formatos de documentos em mudança e distribuições de rótulos sem a necessidade de re-treinamento contínuo do modelo.
• Viabilidade Prática: Preenche a lacuna entre a alta precisão de modelos complexos e as restrições operacionais de pipelines industriais, oferecendo um mecanismo leve e pós-hoc para melhorar a seleção de conjuntos de rótulos.
• Superioridade sobre LLMs: No contexto de classificação de documentos, o RAPT fornece uma alternativa mais eficiente e econômica aos LLMs de Few-Shot, que sofrem com alta latência e sobrecarga de memória, apesar de suas capacidades generativas.

Os autores concluem que o RAPT é particularmente valioso para organizações com classificadores existentes que precisam de um mecanismo leve para melhorar a robustez à medida que suas coleções de documentos evoluem.