Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition

A continuación se presenta un resumen técnico detallado del artículo "Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition" (No todos los sujetos deberían permanecer: Olvido de máquina para el reconocimiento ruidoso de compromiso).

Enunciado del Problema

El artículo aborda un desafío práctico en el reconocimiento de compromiso, una tarea que implica la clasificación de los niveles de compromiso del usuario a partir de datos de video. Los conjuntos de datos de compromiso (por ejemplo, DAiSEE, EngageNet) suelen estar indexados por sujeto y contienen supervisión ruidosa y subjetiva. A diferencia de los problemas estándar de etiquetas ruidosas donde clips individuales pueden estar mal etiquetados, la unidad problemática en estos conjuntos de datos suele ser el sujeto completo. Múltiples clips del mismo individuo pueden compartir ambigüedades en la anotación, artefactos de grabación o patrones de comportamiento atípicos que introducen una supervisión contraproducente.

Una vez que se entrena un modelo base, la solución conceptualmente correcta para eliminar un sujeto problemático es reentrenar el modelo desde cero con los datos restantes. Sin embargo, este reentrenamiento completo es computacionalmente costoso, especialmente cuando se necesitan auditar múltiples subconjuntos candidatos de sujetos. El artículo plantea la siguiente pregunta: ¿Se puede eliminar la influencia de un sujeto problemático completo de un modelo ya entrenado sin un reentrenamiento completo?

Metodología

Los autores proponen un marco de olvido de máquina a nivel de sujeto como mecanismo de saneamiento post-hoc. El protocolo consta de cuatro etapas principales:

1. Entrenamiento Base: Se entrena un modelo base ($f_{\theta_0}$) sobre el conjunto completo de sujetos de entrenamiento ($S_{tr}$) utilizando una arquitectura fija, TCCT-Net (Red de Tensor-Convolution y Convolution-Transformer).
2. Identificación de Sujetos Perjudiciales: En lugar de asumir una corrupción de las etiquetas de verdad fundamental, los autores tratan la nocividad como un problema de clasificación operativa. Calculan una puntuación ($r_s$) para cada sujeto basándose en la pérdida media de entropía cruzada por clip de los datos de ese sujeto bajo el modelo base entrenado. Los sujetos clasificados en el top-$K$ forman el conjunto de olvido ($F$).
3. Actualización Aproximada de Olvido: Se aplica una corrección ligera al modelo base para producir un modelo olvidado ($\tilde{f}_{\theta}$).
   • Restricción de Arquitectura: Para mantener la actualización eficiente, el extractor de características de bajo nivel de TCCT-Net se congela. Solo se actualizan las capas finales de fusión y clasificación (la "cabeza").
   • Función Objetivo: La actualización minimiza una pérdida compuesta ($L_{unl}$):
     • $L_{ret}$: Entropía cruzada sobre los datos retenidos ($D_R$) para preservar la utilidad de la tarea.
     • $L_{cons}$: Un término de consistencia (divergencia KL) entre las predicciones del modelo base y del modelo olvidado sobre los datos retenidos para evitar una deriva innecesaria.
     • $L_{forg}$: Un término negativo de entropía cruzada sobre los datos olvidados ($D_F$) para alejar al modelo de ajustar estos sujetos (anti-ajuste).
     • Regularización: Un término que penaliza la desviación de los parámetros originales de la cabeza ($\phi_0$).
4. Evaluación Centrada en el Oráculo: El modelo olvidado se compara con un modelo oráculo ($f^*_{\theta_F}$), que se reentrena desde cero únicamente sobre los sujetos retenidos ($D_R$). Este oráculo sirve como referencia limpia para la "solución de datos retenidos".

Contribuciones Clave

1. Formulación del Problema: El artículo define el saneamiento post-hoc a nivel de sujeto como un escenario de problema distinto para el reconocimiento de compromiso, avanzando más allá de la corrección de etiquetas ruidosas a nivel de muestra para abordar la revisión de datos indexados por sujeto.
2. Protocolo de Evaluación: Introduce una evaluación centrada en el oráculo que mide si una actualización de olvido aproxima la solución de un modelo reentrenado desde cero sobre los datos retenidos, en lugar de simplemente perturbar el modelo o degradar el rendimiento en los datos olvidados.
3. Estudio Empírico: Un estudio controlado sobre DAiSEE y EngageNet demuestra cuándo el olvido a nivel de sujeto es beneficioso, cómo depende de la construcción del conjunto de olvido, y las compensaciones entre utilidad y eficiencia en comparación con el reentrenamiento completo.

Resultados

El estudio evalúa tres estados del modelo (Base, Olvidado, Oráculo) bajo escenarios de conjuntos de olvido pequeños ($K \in \{1, 3, 5\}$).

• Recuperación del Rendimiento:
  • En EngageNet ($K=3$), el modelo olvidado recuperó el 89.3% de la ganancia de rendimiento lograda por el modelo oráculo (relativo al modelo base).
  • En DAiSEE ($K=3$), el modelo olvidado recuperó el 92.5% de la ganancia del oráculo.
• Eficiencia: La actualización de olvido requirió aproximadamente una cuarta parte del costo computacional del reentrenamiento completo del oráculo (costo de tiempo real relativo de ~0.22×–0.26× frente a ~0.97×–0.98× para el reentrenamiento).
• Comparación con Métodos Ingenuos: Un enfoque de "eliminación ingenua + breve ajuste fino" rindió significativamente peor que el método de olvido propuesto, recuperando solo el 36.7% (EngageNet) y el 23.3% (DAiSEE) de la ganancia del oráculo.
• Sensibilidad al Tamaño del Conjunto de Olvido:
  • El rendimiento mejoró generalmente de $K=1$ a $K=3$, lo que sugiere que la nocividad está distribuida en un pequeño subconjunto de sujetos en lugar de concentrarse en un único valor atípico.
  • En $K=5$, las ganancias comenzaron a saturarse o disminuir, lo que indica que eliminar demasiados sujetos (más allá del "núcleo dañino") puede descartar una variabilidad de entrenamiento útil.
  • La Recuperación de la Brecha del Oráculo (OGR) fue más alta en la configuración intermedia $K=3$, lo que sugiere que el olvido aproximado es más efectivo cuando el régimen de eliminación se dirige a un subconjunto auditado específico y pequeño.

Significado y Afirmaciones

El artículo mantiene un alcance modesto y práctico. No afirma proporcionar un olvido exacto o certificado, ni propone una nueva arquitectura base para el compromiso. En cambio, su significado radica en demostrar que:

1. La corrección post-hoc es viable: El olvido aproximado a nivel de sujeto puede servir como un mecanismo de corrección de bajo costo para datos de compromiso ruidosos, recuperando una parte sustancial de los beneficios del reentrenamiento completo.
2. La referencia oráculo es crítica: Evaluar el olvido frente a un oráculo reentrenado sobre datos retenidos es necesario para distinguir entre un saneamiento útil y una mera perturbación del modelo.
3. Dependencia del régimen: La efectividad del método depende altamente de la calidad de la selección de sujetos y del tamaño del conjunto de olvido. Funciona mejor como una corrección dirigida para un subconjunto pequeño e identificado de sujetos dañinos, en lugar de una estrategia de poda monótona.

Los autores concluyen que, aunque el método no es una solución universal para todos los conjuntos de datos o arquitecturas, proporciona un marco plausible para revisar modelos de compromiso entrenados cuando la supervisión es ruidosa y está organizada por sujetos.