💻 computer science

Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition

Este artigo propõe um framework leve de desaprendizagem de máquina em nível de sujeito para conjuntos de dados de reconhecimento de engajamento ruidosos que remove efetivamente a influência de sujeitos problemáticos sem retreinamento completo, recuperando mais de 89% dos ganhos de desempenho de um modelo oráculo a aproximadamente um quarto do custo computacional.

Autores originais: Alexander Vedernikov

Publicado 2026-05-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Alexander Vedernikov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um treinador preparando uma equipe esportiva (o modelo de IA) para reconhecer o nível de engajamento dos alunos em um vídeo de sala de aula. Você passou meses treinando sua equipe usando filmagens de 100 alunos diferentes.

Agora, imagine que você percebe que três alunos específicos estavam agindo de forma muito estranha durante suas gravações. Talvez a iluminação estivesse ruim, talvez eles estivessem tendo um dia ruim, ou talvez a pessoa que rotulou o vídeo tenha se confundido sobre o comportamento deles. Por causa disso, sua equipe aprendeu alguns "maus hábitos" a partir desses três alunos.

Normalmente, se você quiser corrigir isso, terá que demitir toda a equipe e começar a treinar uma nova do zero, usando apenas os bons alunos. Isso leva uma enorme quantidade de tempo e dinheiro.

Este artigo faz uma pergunta mais simples: Podemos apenas "des-treinar" esses três alunos específicos sem demitir toda a equipe?

Veja como os autores tentaram resolver isso, explicado através de analogias simples:

1. O Problema: O Efeito da "Maçã Podre"

No mundo da IA, os dados frequentemente vêm em grupos (como alunos). Se um aluno é confuso ou ruidoso, todo o seu grupo de vídeos pode prejudicar o modelo.

O Jeito Antigo: Se você encontrar um grupo ruim, você exclui seus dados e retreina todo o modelo a partir do zero. É como reconstruir uma casa porque um tijolo está rachado.
A Nova Ideia: Podemos apenas "repreender" gentilmente o modelo para que ele esqueça esses tijolos ruins específicos, mantendo o resto da casa intacta? Isso é chamado de Desaprendizado de Máquina.

2. O Método: A "Correção Leve"

Os autores não tentaram reconstruir todo o modelo. Em vez disso, usaram um truque inteligente e de baixo custo:

Passo 1: Identificar os Culpados. Eles olharam para o modelo treinado e perguntaram: "Com quais alunos você teve mais dificuldade?" Eles classificaram os alunos pelo nível de confusão do modelo. Os 3 alunos mais confusos foram marcados para remoção.
Passo 2: A Cirurgia na "Cabeça". O modelo tem duas partes: um "corpo" (que vê os recursos do vídeo) e uma "cabeça" (que toma a decisão final). Os autores congelaram o corpo (para que ele não esquecesse tudo o que já sabia) e deram apenas um ajuste rápido e direcionado à cabeça.
Passo 3: A "Aula Anti". Eles mostraram ao modelo os vídeos dos alunos ruins novamente, mas desta vez disseram ao modelo: "Faça o oposto do que você normalmente faz com estes". Isso empurra o modelo para longe dos maus hábitos sem apagar seu conhecimento sobre os bons alunos.

3. O Teste: A Comparação com o "Oráculo"

Para ver se isso funcionou, eles criaram um teste de "Padrão Ouro".

O Oráculo: Eles pegaram o modelo original, jogaram fora os dados dos alunos ruins e retreinaram um modelo totalmente novo do zero. Este é o resultado "perfeito", mas é caro.
O Modelo Desaprendido: Este é o modelo que apenas recebeu a rápida "cirurgia na cabeça".
O Resultado: Eles compararam os dois. O modelo "Desaprendido" foi 90% tão bom quanto o "Oráculo" (aquele retreinado do zero), mas custou apenas 25% do tempo e dinheiro para corrigir.

4. A Pegadinha: Trata-se de Quem Você Remove

O artigo descobriu que esse truque funciona melhor quando você remove um número pequeno e específico de alunos ruins (como 3 de 100).

Se você remover muito poucos (apenas 1), você não corrige problema suficiente.
Se você remover muitos (como 5), você começa a descartar dados bons junto com os ruins, e o desempenho do modelo começa a cair.
O Ponto Ideal: Remover um grupo pequeno e direcionado de sujeitos "ruidosos" dá o maior impulso.

Resumo

Pense nisso como editar um livro depois que ele foi impresso.

Retreinar é como imprimir todo o livro novamente, mas desta vez deixando de fora os capítulos ruins.
Desaprendizado de Máquina (este artigo) é como pegar uma caneta e riscar cuidadosamente as frases ruins no livro existente, depois reescrevendo apenas a página de resumo para que a história faça sentido novamente.

A Conclusão:
Nem sempre é necessário descartar todo o modelo e começar do zero. Se você puder identificar as pessoas "ruidosas" específicas que estão causando problemas, pode usar uma atualização barata e rápida para "desaprender" delas e obter quase o mesmo resultado de uma reconstrução completa. No entanto, você deve ter cuidado com quem você escolhe remover; se você remover as pessoas erradas, a correção não funcionará.

Declaração do Problema

O artigo aborda um desafio prático no reconhecimento de engajamento, uma tarefa que envolve a classificação dos níveis de engajamento do usuário a partir de dados de vídeo. Conjuntos de dados de engajamento (por exemplo, DAiSEE, EngageNet) são tipicamente indexados por sujeito e contêm supervisão ruidosa e subjetiva. Diferentemente de problemas padrão de rótulos ruidosos, onde clipes individuais podem estar mal rotulados, a unidade problemática nesses conjuntos de dados é frequentemente o sujeito inteiro. Múltiplos clipes do mesmo indivíduo podem compartilhar ambiguidades de anotação, artefatos de gravação ou padrões comportamentais atípicos que introduzem supervisão contraproducente.

Uma vez que um modelo de base é treinado, a solução conceitualmente correta para remover um sujeito problemático é retreinar o modelo do zero nos dados restantes. No entanto, esse retreinamento completo é computacionalmente caro, especialmente quando múltiplos subconjuntos candidatos de sujeitos precisam ser auditados. O artigo levanta a questão: É possível remover a influência de um sujeito problemático inteiro de um modelo já treinado sem retreinamento completo?

Metodologia

Os autores propõem um framework de aprendizado de máquina em nível de sujeito como um mecanismo de sanitização post-hoc. O protocolo consiste em quatro etapas principais:

Treinamento de Base: Um modelo de base ( $f_{\theta_0}$ ) é treinado no conjunto completo de sujeitos de treinamento ( $S_{tr}$ ) usando uma arquitetura fixa, TCCT-Net (Tensor-Convolution and Convolution-Transformer Network).
Identificação de Sujeitos Nocivos: Em vez de assumir corrupção de rótulos de verdade absoluta, os autores tratam a nocividade como um problema operacional de classificação. Eles calculam uma pontuação ( $r_s$ ) para cada sujeito com base na média da perda de entropia cruzada por clipe dos dados desse sujeito sob a base treinada. Os sujeitos classificados nos top- $K$ formam o conjunto de esquecimento ( $F$ ).
Atualização Aproximada de Esquecimento: Uma correção leve é aplicada ao modelo de base para produzir um modelo esquecido ( $\tilde{f}_{\theta}$ $\tilde{f}_{θ}$ ).
- Restrição de Arquitetura: Para manter a atualização eficiente, o extrator de características de baixo nível da TCCT-Net é congelado. Apenas as camadas finais de fusão e classificação (a "cabeça") são atualizadas.
- Função Objetivo: A atualização minimiza uma perda composta ( $L_{unl}$ $L_{u n l}$ ):
  - $L_{ret}$ : Entropia cruzada nos dados retidos ( $D_R$ ) para preservar a utilidade da tarefa.
  - $L_{cons}$ : Um termo de consistência (divergência KL) entre as previsões do modelo de base e do modelo esquecido nos dados retidos para evitar desvios desnecessários.
  - $L_{forg}$ : Um termo negativo de entropia cruzada nos dados esquecidos ( $D_F$ ) para afastar o modelo de ajustar-se a esses sujeitos (anti-ajuste).
  - Regularização: Um termo que penaliza o desvio dos parâmetros originais da cabeça ( $\phi_0$ ).
Avaliação Centrada no Oráculo: O modelo esquecido é comparado a um modelo Oráculo ( $f^*_{\theta_F}$ ), que é retreinado do zero apenas nos sujeitos retidos ( $D_R$ ). Este oráculo serve como referência limpa para a "solução de dados retidos".

Principais Contribuições

Formulação do Problema: O artigo define a sanitização post-hoc em nível de sujeito como um cenário de problema distinto para reconhecimento de engajamento, indo além da correção de rótulos ruidosos em nível de amostra para abordar a revisão de dados indexados por sujeito.
Protocolo de Avaliação: Introduz uma avaliação centrada no oráculo que mede se uma atualização de esquecimento aproxima a solução de um modelo retreinado do zero nos dados retidos, em vez de meramente perturbar o modelo ou degradar o desempenho nos dados esquecidos.
Estudo Empírico: Um estudo controlado no DAiSEE e no EngageNet demonstra quando o esquecimento em nível de sujeito é benéfico, como depende da construção do conjunto de esquecimento e das compensações entre utilidade e eficiência em comparação com o retreinamento completo.

Resultados

O estudo avalia três estados do modelo (Base, Esquecido, Oráculo) sob cenários de pequenos conjuntos de esquecimento ( $K \in \{1, 3, 5\}$ ).

Recuperação de Desempenho:
- No EngageNet ( $K=3$ ), o modelo esquecido recuperou 89,3% do ganho de desempenho alcançado pelo modelo oráculo (relativo à base).
- No DAiSEE ( $K=3$ ), o modelo esquecido recuperou 92,5% do ganho do oráculo.
Eficiência: A atualização de esquecimento exigiu aproximadamente um quarto do custo computacional do retreinamento completo do oráculo (custo relativo de tempo real de ~0,22×–0,26× versus ~0,97×–0,98× para retreinamento).
Comparação com Métodos Ingênuos: Uma abordagem de "remoção ingênua + ajuste fino curto" performou significativamente pior que o método de esquecimento proposto, recuperando apenas 36,7% (EngageNet) e 23,3% (DAiSEE) do ganho do oráculo.
Sensibilidade ao Tamanho do Conjunto de Esquecimento:
- O desempenho geralmente melhorou de $K=1$ para $K=3$ , sugerindo que a nocividade está distribuída em um pequeno subconjunto de sujeitos e não concentrada em um único outlier.
- Em $K=5$ , os ganhos começaram a saturar ou declinar, indicando que remover muitos sujeitos (além do "núcleo nocivo") pode descartar variabilidade de treinamento útil.
- A Recuperação da Lacuna do Oráculo (OGR) foi mais alta na configuração intermediária $K=3$ , sugerindo que o esquecimento aproximado é mais eficaz quando o regime de remoção visa um subconjunto auditado específico e pequeno.

Significado e Alegações

O artigo mantém um escopo modesto e prático. Não alega fornecer esquecimento exato ou certificado, nem propõe uma nova base para engajamento. Em vez disso, seu significado reside em demonstrar que:

Correção post-hoc é viável: O aprendizado de máquina aproximado em nível de sujeito pode servir como um mecanismo de correção de baixo custo para dados de engajamento ruidosos, recuperando uma parte substancial dos benefícios do retreinamento completo.
Referência Oráculo é crítica: Avaliar o esquecimento contra um oráculo retreinado nos dados retidos é necessário para distinguir entre sanitização útil e mera perturbação do modelo.
Dependência do Regime: A eficácia do método depende altamente da qualidade da seleção de sujeitos e do tamanho do conjunto de esquecimento. Funciona melhor como uma correção direcionada para um pequeno subconjunto identificado de sujeitos nocivos, em vez de uma estratégia de poda monotônica.

Os autores concluem que, embora o método não seja uma solução universal para todos os conjuntos de dados ou arquiteturas, ele fornece um framework plausível para revisar modelos de engajamento treinados quando a supervisão é ruidosa e organizada por sujeitos.