Resumo Técnico: Aprendizado Incremental Guiado por Proveniência sob Definições de Conceitos Evolutivos

1. Declaração do Problema

Sistemas de aprendizado de máquina implantados em ambientes de longo prazo frequentemente enfrentam um tipo específico de instabilidade, distinta do drift (deriva) estatístico convencional de conceito. Em muitas aplicações intensivas em dados (ex: detecção de fraude, verificação de conformidade, avaliação de elegibilidade), o conceito alvo é gerado por uma política explícita, regra de negócio ou consulta (query). Quando essas definições são revisadas, os rótulos semânticos dos dados históricos podem mudar sem qualquer alteração nos dados observados subjacentes.

Os métodos convencionais de detecção de drift inferem mudanças indiretamente a partir de erros de predição ou deslocamentos de distribuição. Essa abordagem é subótima quando a revisão é explícita porque:

1. Ela descarta informações diretas sobre a natureza da mudança.
2. Falha em distinguir entre registros que são semanticamente inválidos sob a nova definição e aqueles que permanecem corretos.
3. Frequentemente leva a um retreinamento total desnecessário, o que é computacionalmente caro, especialmente quando as definições de conceito envolvem operações complexas como junções relacionais (joins), travessias de grafos ou consultas a serviços externos.

O problema central abordado é como determinar qual supervisão histórica e estado preditivo requerem reconsideração diante de uma revisão explícita da regra que define o alvo, sem recomputar toda a coleção histórica.

2. Metodologia: Aprendizado Incremental Guiado por Proveniência

O artigo propere um arcabouço que muda da detecção estatística de drift para a manutenção explícita da definição do conceito. O fluxo de trabalho consiste em quatro estágios integrados:

A. Compilação de Delta de Regra

O sistema representa as definições de conceito como grafos acíclicos dirigidos (DAGs) de predicados estruturados. Quando ocorre uma revisão de $Q_t$ para $Q_{t+1}$, um compilador de delta de regra alinha os dois grafos para identificar diferenças estruturais. Essas diferenças são compiladas em um delta de regra tipado ($\Delta$), categorizando as mudanças em:

• Revisões de limiar (ex: alteração de um limite de valor).
• Inserções ou deleções de predicados.
• Reescritas lógicas (ex: mudar de AND para OR).
• Reescritas relacionais ou de caminho de grafo.

B. Descoberta de Dados Afetados Guiada por Proveniência

Em vez de reavaliar todos os registros históricos, o arcabouço utiliza a proveniência dos dados para rastrear como os resultados históricos dependeram de predicados, atributos ou caminhos computacionais específicos.

• Certificação de Estabilidade: O sistema analisa o delta da regra contra a proveniência de cada registro. Se o caminho de avaliação de um registro contém "nós de bloqueio" (ex: um nó AND onde um filho inalterado é falso), o registro é certificado como estável ($D_{safe}$), significando que seu rótulo não pode mudar, independentemente da revisão.
• Seleção de Candidatos: Registros que não podem ser certificados como estáveis formam o conjunto de candidatos ($D_{cand}$). Este conjunto é significativamente menor que o conjunto de dados completo, mas garante que todos os registros realmente afetados estejam incluídos.

C. Supervisão Seletiva e Relabelagem

O conjunto de candidatos é particionado com base na executabilidade:

• Conjunto Exato ($D_{exact}$): Registros onde o conceito revisado pode ser executado deterministicamente. Estes são rotulados automaticamente.
• Conjunto Ambíguo ($D_{amb}$): Registros onde a revisão depende de informações ausentes, incertas ou interpretadas por especialistas. Em vez de anotar todo o conjunto ambíguo, o arcabouço emprega supervisão seletiva, escolhendo um pequeno subconjunto baseado em incerteza e representatividade para minimizar os custos de anotação humana.

D. Reparo Incremental do Preditor

O arcabouço atualiza o preditor implantado ($f_{\theta_t}$) usando um conjunto de dados de reparo ($D_{repair}$) composto pelos registros exatos e pelos registros ambíguos rotulados. Crucialmente, ele também retém um buffer de estabilidade ($D_{stable}$) amostrado dos registros certificados como estáveis.

• O objetivo de atualização minimiza uma função de perda $L = L_{repair} + \lambda L_{stable}$.
• $L_{repair}$ força o modelo a se adaptar aos novos rótulos.
• $L_{stable}$ restringe o modelo para preservar o comportamento em regiões conhecidas como não afetadas, evitando o esquecimento catastrófico ou drift desnecessário.

E. Memória de Conceito Versionada

Para lidar com definições recorrentes (ex: políticas sazonais ou reversões temporárias de regras), o sistema mantém uma memória das versões passadas do conceito, incluindo seus grafos de predicados, resumos de proveniência e estados do modelo. Isso permite que o sistema reutilize o conhecimento estrutural e os estados do modelo quando uma definição anterior reaparece, evitando o aprendizado do zero.

3. Principais Contribuições

1. Mudança de Conceito Induzida por Regra: O artigo formaliza um cenário de aprendizado onde as definições de alvo mudam explicitamente via regras, separando a revisão semântica de suas consequências nos dados históricos.
2. Certificação Baseada em Proveniência: Um mecanismo que analisa a diferença entre as definições de conceito e utiliza a proveniência histórica para certificar matematicamente quais registros não foram afetados, reduzindo a região de reavaliação para um conjunto de candidatos localizado.
3. Arcabouço de Manutenção Unificado: Um sistema que combina relabelagem automática, supervisão humana seletiva, reparo incremental de modelo e memória versionada para conceitos recorrentes.
4. RuleShift-Bench: Um novo benchmark abrangendo dados financeiros, demográficos, de cibersegurança e estruturados em grafos, apresentando revisões de conceito de limiar, predicado, lógica, relacional e mistas.

4. Resultados Experimentais

O arcabouço foi avaliado em quatro conjuntos de dados (PaySim, Census-Income, UNSW-NB15, ogbn-arxiv) utilizando XGBoost, preditores tabulares neurais e Árvores de Hoeffding Adaptativas.

• Qualidade Preditiva: O método de Reparo Guiado por Proveniência alcançou 92,3% de acurácia e 90,2% de Macro-F1, permanecendo dentro de 0,5 ponto percentual da linha de base "Relabel Completo + Retreino" (92,8% / 90,7%).
• Eficiência:
  • Reprocessamento: Apenas 14,7% da coleção histórica foi reprocessada, comparado a 100% para o retreinamento total.
  • Latência: A latência média de atualização caiu de 993 segundos (retreinamento total) para 179 segundos (uma redução de ~5,5x).
  • Recall de Afetados: O método reteve 94,6% dos registros realmente afetados, superando significativamente as estratégias de seleção aleatória (71,1%) e baseada em incerteza (79,0%) com o mesmo orçamento de dados.
• Conceitos Recorrentes: Quando uma definição de conceito retornou após revisões intermediárias, a abordagem de memória versionada recuperou 90,6% de acurácia (lacuna de 0,9% em relação à primeira ocorrência) com 12,6% de reprocessamento, comparado a 18,0% para métodos de replay padrão.
• Eficiência de Anotação: Para revisões ambíguas, restringir a supervisão humana à região ambígua "limitada pelo delta" resultou em pontuações de Macro-F1 mais altas do que a amostragem de incerteza global através de vários orçamentos de anotação.

5. Significância e Alegações

O artigo afirma que revisões explícitas de conceito devem ser tratadas como sinais de manutenção de dados em vez de anomalias estatísticas. Ao explorar a estrutura conhecida da revisão e a proveniência histórica, os sistemas de aprendizado podem:

• Atualizar a supervisão e os estados preditivos apenas onde a validade do conhecimento anterior realmente mudou.
• Preservar o conhecimento válido sem o custo de um retreinamento total.
• Lidar eficientemente com definições recorrentes.

O autor observa que a vantagem computacional do arcabouço é mais pronunciada quando as revisões são localizadas. Em casos de revisões globais, falta de proveniência ou consultas altamente acopladas onde as dependências abrangem todo o conjunto de dados, o benefício da manutenção seletiva diminui, embora o método permaneça correto. O trabalho estabelece um caminho direto da manutenção da definição do conceito para a manutenção dos dados de treinamento e, finalmente, para a manutenção do modelo, oferecendo uma alternativa mais eficiente à detecção de drift cega e ao retreinamento total.