Resumo Técnico: OCRR – Uma Métrica de Referência para Recuperação de Correção Online sob Deslocamento de Distribuição

1. Declaração do Problema

Sistemas de aprendizado de máquina implantados enfrentam uma lacuna crítica entre o desempenho em métricas de referência estáticas e as necessidades operacionais do mundo real. Embora métricas de referência padrão (por exemplo, Banking77, GLUE, MMLU) meçam o desempenho de um modelo quando congelado no momento do treinamento, sistemas de produção devem lidar com deslocamentos de distribuição (novas categorias, consultas parafraseadas, deriva de dados) e recuperar-se de erros por meio de correções online de usuários.

Os paradigmas de avaliação atuais falham em capturar a taxa de recuperação de correção:

• Métricas de Referência Estáticas: Medem a precisão em uma divisão de teste congelada, ignorando a capacidade de absorver novas informações sem retreinamento.
• Aprendizado Contínuo (CL): Avalia modelos após a conclusão de uma sequência completa de tarefas, e não durante um fluxo ao vivo de correções de usuários.
• Aprendizado Online: Tipicamente testa a precisão cumulativa em um fluxo, mas frequentemente assume nenhum armazenamento de dados históricos ou carece de cenários de classes retidas.

O artigo argumenta que um modelo que alcança 95% de precisão estática, mas falha em absorver uma única correção sem retreinamento, é operacionalmente inferior a um modelo de 90% que pode recuperar-se online. Atualmente, não existe uma métrica de referência para medir a rapidez com que um classificador se recupera quando correções chegam em um fluxo.

2. Metodologia: A Métrica de Referência OCRR

Os autores introduzem o OCRR (Taxa de Recuperação de Correção Online), uma métrica de referência projetada para avaliar sistemas sob restrições de fluxo com deslocamentos de distribuição.

3.1 Protocolo Central

• Deslocamento de Classe Retida: O sistema é inicializado em $C-H$ classes conhecidas. Um fluxo de consultas de $H$ classes retidas (desconhecidas na inicialização) é introduzido.
• Fluxo de Correção: O sistema prevê rótulos. Se uma previsão estiver errada, uma política determina se uma correção é aplicada.
• Políticas de Correção:
  • Oráculo: Toda previsão errada é corrigida.
  • Aleatório-50% / Aleatório-10%: Previsões erradas são corrigidas com probabilidade 0,5 ou 0,1, simulando supervisão esparsa.
• Eixos de Avaliação:
  • Precisão Nova: Desempenho nas classes retidas (capacidade de recuperação).
  • Precisão Original: Desempenho nas classes iniciais conhecidas (verificação de esquecimento).
• Métricas: Precisão Nova/Original versus contagem de correções, e "Correções-para-N%" (velocidade de recuperação).

3.2 Sistemas Avaliados

A métrica de referência avalia um Substrato proposto contra nove basais em cinco famílias:

1. Espantalhos: kNN Estático, Linear Estático, Linear Online (SGD).
2. Aprendizado Contínuo (CL): EWC (penalidade ponderada por Fisher), A-GEM (projeção de gradiente com memória), LwF (distilação de conhecimento).
3. Biblioteca de ML Online: river (Regressão Logística).
4. Híbrido de Recuperação/Paramétrico: kNN-LM (interpolando cabeça paramétrica com armazenamento de dados em crescimento).
5. Ajuste Fino Eficiente em Parâmetros (PEFT): LoRA em DeBERTa-v3-large (1,5 bilhão de parâmetros).

3.3 O Substrato Proposto

O Substrato é um livro-razão apenas de adição com encadeamento de hash criptográfico.

• Mecanismo: Armazena embeddings, rótulos e hashes. Não atualiza parâmetros; em vez disso, anexa novas entradas para correções.
• Previsão: Recupera $k=5$ vizinhos mais próximos via similaridade de cosseno.
• Votação: Utiliza uma votação majoritária de faixa de margem (vizinhos dentro de 0,05 de cosseno do melhor resultado votam) com desempate por máxima similaridade e recência.
• Integridade: A cadeia de hash permite verificar que nenhuma entrada passada foi adulterada, apoiando trilhas de auditoria.
• Variantes Limitadas: Os autores testam versões limitadas usando amostragem de reservatório e evicção FIFO para sondar a fronteira de Pareto armazenamento-versus-recuperação.

3. Resultados Chave

Os experimentos foram conduzidos no Banking77 (77 classes) e CLINC150 (151 classes) com 3 sementes aleatórias.

3.1 Dominação de Pareto

O Substrato é o único sistema que simultaneamente alcança alta precisão de classe nova e alta precisão de distribuição original.

• Desempenho: No Banking77 (política Oráculo), o Substrato ilimitado alcançou 88,7% ± 2,9% de precisão nova e 95,4% ± 0,8% de precisão original.
• Comparação: Superou a próxima melhor basal de aprendizado contínuo (A-GEM) em 32,6 pontos percentuais na precisão nova com um orçamento de memória igual (1000 entradas).
• Retenção: Superou o LoRA-no-DeBERTa-v3-large em 84,6 pontos percentuais na retenção (precisão original), demonstrando que grandes contagens de parâmetros não impedem necessariamente o esquecimento catastrófico em configurações online por correção.

3.2 Políticas de Correção Esparsa

Sob correção esparsa (Aleatório-10%), as basais paramétricas (EWC, A-GEM, LwF, LoRA) colapsaram para quase 0% de precisão nova. O Substrato manteve ~65% de precisão nova enquanto retinha a precisão original.

3.3 Escala e Robustez de Recuperação

Uma descoberta crítica diz respeito à escalabilidade. Os autores testaram o Substrato com Vizinhos Mais Próximos Aproximados (HNSW) em escalas de corpus de até 10 milhões de entradas.

• Degradação de Recall: O recall@5 do HNSW caiu de 0,69 (em 10 mil entradas) para 0,23 (em 10 milhões de entradas).
• Estabilidade de Precisão: Apesar do baixo recall de recuperação, a precisão de classificação do Substrato permaneceu estável em 99%.
• Implicação: O mecanismo de votação majoritária de faixa de margem é robusto a imperfeições de recuperação, absorvendo ruído que métricas puras de top-k preveriam como falha.

3.4 Eficiência Computacional

O Substrato é duas ordens de magnitude mais rápido por correção do que métodos baseados em gradiente (~10 µs para anexar ao livro-razão vs. ~50 ms para retropropagação do LoRA em um modelo de 1,5 bilhão).

4. Significado e Alegações

O artigo posiciona o OCRR como a primeira métrica de referência para medir diretamente a taxa de recuperação de correção sob deslocamento de distribuição online.

• Compensações Honestas: Diferentemente de métricas de referência que impõem restrições estritas de "sem armazenamento" (excluindo métodos de recuperação) ou ignoram custos de armazenamento, o OCRR relata explicitamente as pegadas de memória e mapeia sistemas em uma fronteira de Pareto armazenamento-versus-recuperação.
• Vantagem Não Paramétrica: Os resultados sugerem que o aprendizado baseado em recuperação, não paramétrico (o Substrato), é significativamente mais eficiente em amostras para absorver novas classes via correções do que métodos baseados em gradiente, que sofrem de esquecimento catastrófico ou adaptação lenta.
• Relevância para Produção: O design do Substrato apoia indústrias com alta conformidade (banca, saúde) por meio de sua trilha de auditoria encadeada por hash, provando a integridade dos dados pós-correção.
• Limitações: Os autores reconhecem que o OCRR atualmente mede apenas deslocamentos categóricos (novas classes), não deslocamentos dentro da classe (parafraseamento) ou rótulos ruidosos, e depende de conjuntos de dados apenas em inglês.

Em conclusão, o artigo demonstra que, para recuperação de correção online, um sistema simples de recuperação apenas de adição com votação robusta pode superar abordagens complexas e pesadas em parâmetros de aprendizado contínuo e ajuste fino, oferecendo um equilíbrio superior de velocidade, precisão e integridade de dados.