Resumen Técnico: Irreliabilidad de Métricas en el Olvido de Máquinas Multimodal

Declaración del Problema

El olvido de máquinas es cada vez más crítico para el cumplimiento de normativas como el Reglamento General de Protección de Datos (GDPR), que exige la eliminación de las influencias de datos de entrenamiento específicos en los modelos desplegados. Aunque el olvido ha sido estudiado en modelos de clasificación y en Modelos de Lenguaje de Gran Escala (LLM) de solo texto, su evaluación en Modelos de Lenguaje de Gran Escala Multimodales (MLLM) sigue siendo inconsistente.

El problema central identificado es que las métricas de evaluación existentes para el olvido multimodal producen clasificaciones sistemáticamente contradictorias de los métodos de olvido. Las prácticas actuales se basan en cinco métricas estándar: Precisión de Olvido (FA), Precisión de Retención (RA), Ataque de Inferencia de Membresía (MIA), Distancia de Activación (AD) y divergencia de Jensen–Shannon (JS), sin verificar su acuerdo. Este artículo demuestra que estas métricas miden aspectos ortogonales del olvido (comportamiento de salida vs. alineación de representaciones), lo que conduce a escenarios donde un método se clasifica como #1 por una métrica y como #4 por otra. Además, todas las métricas existentes comparten un punto ciego crítico: no miden la Recuperabilidad del Conocimiento (KR), es decir, si la información olvidada puede reconstruirse mediante consultas reformuladas, indirectas o adversarias.

Metodología

Los autores realizaron un análisis sistemático utilizando el modelo visión-lingüístico LLaVA-1.5-7B en tres benchmarks de VQA: MLLMU-Bench, UnLOK-VQA y MMUBench.

1. Configuración Experimental:

   • Modelos: Un modelo base ($M$) fue ajustado finamente sobre la unión de los conjuntos de olvido y retención. Un modelo "oráculo" ($M^*$) fue reentrenado solo en el conjunto de retención para servir como verdad fundamental de cómo debería verse el modelo después del olvido.
   • Métodos de Olvido: Se probaron cuatro paradigmas distintos: Ascenso de Gradiente (GA), Etiquetas Aleatorias (RL), Ajuste Fino de Retención (FT) y SalUn (basado en saliencia).
   • Escala: El estudio evaluó 36 modelos (4 métodos × 3 conjuntos de datos × 3 semillas aleatorias).
   • Métricas: Se calcularon las métricas estándar:
     • FA/RA: Supresión de salida y preservación de utilidad.
     • MIA: Fuga de privacidad a través de puntuaciones de confianza.
     • AD/JS: Alineación del modelo olvidado ($\hat{M}$) con el oráculo ($M^*$) mediante distancias de activación y distribuciones de salida.

2. Marco de Análisis:

   • Correlación de Rangos: Los autores utilizaron $\tau$ de Kendall (una estadística no paramétrica) para medir el acuerdo entre las clasificaciones inducidas por las métricas.
   • Proximidad al Oráculo: La fiabilidad de la métrica se evaluó calculando la correlación de Spearman ($\rho$) entre cada métrica y la distancia $d(\hat{M}, M^*)$ en el espacio de parámetros LoRA.
   • Piloto de Recuperabilidad del Conocimiento (KR): Los autores sondearon manualmente los modelos olvidados con consultas reformuladas, multi-paso y de negación para cuantificar la brecha entre la "supresión de salida" (FA=0) y el "borrado real del conocimiento".

3. Solución Propuesta: Puntuación de Calidad Unificada (UQS):

   • Para resolver las contradicciones, los autores introdujeron la UQS, una métrica compuesta.
   • Derivación de Pesos: Los pesos no son arbitrarios, sino derivados empíricamente. El peso de cada métrica es proporcional a su correlación de Spearman con la distancia al oráculo $d(\hat{M}, M^*)$.
   • Formulación: $UQS = \sum w_i \cdot \text{métrica\_normalizada}_i$. Las métricas con correlación negativa (como FA) se penalizan o reducen drásticamente.

Contribuciones Clave

1. Descomposición de Aspectos: El artículo mapea las métricas existentes a objetivos distintos y a menudo conflictivos. FA, RA y MIA miden el comportamiento de salida (supresión y utilidad), mientras que AD y JS miden la alineación de representaciones con el oráculo. La divergencia en las clasificaciones es estructural, no ruido.
2. Identificación del Aspecto Faltante (KR): Los autores definen la Recuperabilidad del Conocimiento como la capacidad de reconstruir información olvidada mediante consultas indirectas. Un estudio piloto reveló que incluso cuando FA=0 (recuerdo directo suprimido), la fuga de KR fue alta (hasta un 100% para SalUn), lo que indica que las métricas actuales no garantizan un borrado conforme al GDPR.
3. Cuantificación de la Contradicción: El análisis de $\tau$ de Kendall en 36 modelos reveló dos grupos anticorrelacionados: $\{FA, RA, MIA\}$ y $\{AD, JS\}$. Específicamente, $\tau_{FA,AD} = -0.26$, lo que indica que los métodos que optimizan la supresión de salida a menudo se desvían significativamente de la representación del oráculo.
4. Amplificación Multimodal: El estudio encuentra que el desacuerdo de métricas es más grave en VQA multimodal ($\bar{\tau} = 0.086$) que en clasificación unimodal ($\bar{\tau} = 0.158$). Las vías duales de imagen-texto introducen dimensiones adicionales para la divergencia, ya que los codificadores visuales y los decodificadores de lenguaje pueden desacoplarse.
5. Puntuación de Calidad Unificada (UQS): Una puntuación compuesta basada en principios y datos que agrupa aspectos medibles utilizando pesos de fiabilidad. Los pesos derivados muestran que la Precisión de Retención (RA) es el predictor más fiable de la proximidad al oráculo ($\rho = 0.484, p=0.003$), mientras que la Precisión de Olvido (FA) está negativamente correlacionada ($\rho = -0.418$), lo que sugiere que una FA baja a menudo resulta del colapso del modelo en lugar de un olvido efectivo.

Resultados

• Inestabilidad de Clasificación: Ningún método de olvido único se clasifica consistentemente como primero en todas las métricas. Por ejemplo, el Ascenso de Gradiente se clasifica como #1 por MIA pero como #4 por AD; las Etiquetas Aleatorias se clasifican como #1 en cuatro métricas pero como #3 por MIA.
• Replicación: La contradicción se replicó en BLIP-2 OPT-2.7B, confirmando que el problema no es específico de la arquitectura, sino inherente al panorama de evaluación.
• Fiabilidad de Métricas:
  • RA es el indicador independiente más fuerte de la calidad del olvido en relación con el oráculo.
  • FA es un indicador pobre; una FA baja a menudo se correlaciona con una alta distancia del oráculo (colapso del modelo).
  • MIA muestra fiabilidad moderada pero no es estadísticamente significativa en este tamaño de muestra.
  • AD y JS son poco fiables como métricas independientes a esta escala.
• Estabilidad de UQS: Las clasificaciones de UQS permanecen robustas bajo perturbaciones aleatorias de pesos (media $\tau = 0.647 \pm 0.262$), demostrando que el esquema de ponderación basado en principios resuelve las contradicciones encontradas en las métricas individuales.
• Hallazgos de KR: En el piloto, el 96% de las muestras con FA=0 aún filtraron conocimiento mediante sondeo indirecto, destacando la insuficiencia de las métricas actuales para el cumplimiento de la privacidad.

Significado y Afirmaciones

El artículo reclama una contribución metodológica en lugar de un nuevo algoritmo de olvido. Su principal significado radica en exponer la irreliabilidad de los estándares de evaluación actuales para el olvido multimodal.

• La Contradicción es Estructural: El desacuerdo entre las métricas no se debe al ruido experimental, sino que surge del conflicto fundamental entre medir la supresión de salida y la alineación de representaciones.
• Brecha de Cumplimiento del GDPR: Las métricas actuales no evalúan si el conocimiento está realmente borrado o simplemente suprimido, un fallo crítico para el cumplimiento normativo. El artículo argumenta que, sin medir la Recuperabilidad del Conocimiento, las afirmaciones de cumplimiento del GDPR son potencialmente engañosas.
• Evaluación Basada en Principios: La UQS proporciona un marco reproducible y basado en datos para clasificar los métodos de olvido. Al ponderar las métricas según su correlación con un modelo oráculo, ofrece una "puntuación única basada en principios" que se alinea mejor con el objetivo teórico del olvido (alcanzar el estado de un modelo que nunca fue entrenado en el conjunto de olvido).
• Liberación de Recursos: Los autores liberan el benchmark, 36 puntos de control de modelos y una tabla de clasificación interactiva para facilitar la investigación reproducible en este dominio.

Los autores permanecen modestos sobre su alcance, señalando que los pesos de UQS dependen del modelo y del conjunto de datos y deben volver a derivarse para nuevos entornos. También reconocen que la medición escalable y automatizada de la Recuperabilidad del Conocimiento sigue siendo un desafío abierto para trabajos futuros.