🤖 machine learning

FiMMIA: scaling semantic perturbation-based membership inference across modalities

Este artículo presenta FiMMIA, un marco modular que extiende los ataques de inferencia de membresía basados en perturbaciones a los modelos de lenguaje de gran tamaño multimodales al abordar los cambios de distribución y entrenar una red neuronal para detectar la contaminación de datos a través de varios modelos con ajuste fino.

Autores originales: Anton Emelyanov, Sergei Kudriashov, Alena Fenogenova

Publicado 2026-06-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anton Emelyanov, Sergei Kudriashov, Alena Fenogenova

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: El detective de la "fuga de memoria"

Imagina que contratas a un chef (un modelo de IA) para cocinar un plato específico basado en un libro de recetas familiares secreto (los datos de entrenamiento). Quieres saber: ¿Este chef realmente memorizó tu receta familiar específica, o simplemente aprendió a cocinarla desde cero usando conocimientos generales?

Si el chef memorizó tu receta, podría revelar accidentalmente tus ingredientes secretos de la familia a cualquiera que pregunte. En el mundo de la IA, esto se llama un Ataque de Inferencia de Membresía (MIA). Es una forma de comprobar si una pieza específica de información (como una foto, una frase o un clip de sonido) formó parte de la "dieta de entrenamiento" de la IA.

El problema es que, si bien tenemos buenas formas de comprobar esto para los chefs de solo texto (LLMs), somos pésimos para comprobarlo en los Chefs Multimodales (MLLMs) —los modelos de IA que pueden ver imágenes, escuchar audio y ver videos al mismo tiempo—. Estos modelos son desordenados; se confunden con la mezcla de diferentes tipos de datos, lo que dificulta distinguir si realmente memorizaron una imagen específica o si solo la adivinaron.

Entra en escena FiMMIA (Framework for Multimodal MIA). Es un nuevo conjunto de herramientas diseñado para ser un superdetective para estos modelos multimodales.

El problema: Las pistas "falsas"

Antes de FiMMIA, los investigadores intentaban atrapar estas fugas de memoria usando pruebas existentes. Los autores de este artículo descubrieron un fallo importante en esas pruebas: las pruebas mismas estaban amañadas.

Piensa en ello como una alineación policial. Si la policía alinea a 10 sospechosos, pero 9 de ellos llevan sombreros rojos brillantes y solo 1 lleva un sombrero azul, el detective no necesita mirar las caras para adivinar quién es el criminal. Simplemente elige al tipo del sombrero azul.

El artículo encontró que muchos conjuntos de datos de IA eran así. Los datos "memorizados" (miembros) y los "no memorizados" (no miembros) se veían tan diferentes entre sí (diferente iluminación, diferentes estructuras de oraciones, diferentes formatos de archivo) que un programa de computadora simple podía distinguirlos sin siquiera mirar el modelo de IA.

La solución: Los autores construyeron un detector de "línea base" que ignora el modelo de IA por completo. Solo observa los datos brutos (las fotos y el texto) para ver si son naturalmente diferentes. Si este detector simple puede distinguirlos, el conjunto de datos está "contaminado" o sesgado, y no puedes confiar en ninguna prueba compleja de IA ejecutada en él.

La solución: La estrategia de la "prueba de sabor"

FiMMIA utiliza una estrategia ingeniosa llamada Perturbación Semántica. Así es como funciona, usando la analogía de una "Prueba de Sabor":

La configuración: Tienes un modelo de IA objetivo. Quieres saber si memorizó una foto específica de un gato (llamémosla "La Original").
La distorsión (Perturbación): En lugar de mostrarle al modelo la foto original, creas 24 versiones ligeramente "estropeadas" de ella.
- Desenfocas los ojos.
- Cambias la cola de un gato por la de un perro.
- Cambias el color del fondo.
- Desordenas la descripción de texto.
- Analogía: Imagina que tienes una taza de café perfecta. Haces otras 24 tazas ligeramente "malas": una con demasiada azúcar, otra con leche fría, otra con una gota de sal.
La reacción: Le entregas tanto la Original como las versiones Estropeadas a la IA.
- Si la IA memorizó la Original: Estará muy segura y "cómoda" con la Original, pero se confundirá y cometerá errores (pérdida alta) con las versiones Estropeadas. Es como un chef que conoce tu receta de memoria; puede cocinarla perfectamente, pero si cambias un ingrediente, entra en pánico.
- Si la IA no memorizó la Original: Tratará la Original y las versiones Estropeadas casi de la misma manera. Es como un chef que acaba de aprender a cocinar en general; un poco de sal o nada de sal no cambia mucho su reacción.
El trabajo de detective: FiMMIA tiene una red neuronal pequeña y lista (el detective) que observa la reacción de la IA. Compara los "puntajes de confianza" de la Original frente a las versiones Estropeadas. Si la brecha es enorme, el detective grita: "¡Ajá! ¡Este modelo memorizó estos datos!"

Por qué es especial

Funciona en todas partes: A diferencia de las herramientas anteriores que solo funcionaban con texto, FiMMIA funciona con Imágenes, Videos y Audio. Los trata a todos de la misma manera: "Rompe algo, mira cómo reacciona el modelo".
Es modular: Piensa en FiMMIA como una navaja suiza. Puedes intercambiar las herramientas de "romper" (los métodos de perturbación) o el "detective" (el clasificador) dependiendo de lo que estés probando.
Es agnóstico al lenguaje: Los autores probaron esto con datos en ruso, pero el método funciona igual de bien en inglés o cualquier otro idioma. La "prueba de sabor" no le importa en qué idioma esté escrita la receta.

Los resultados

Los autores probaron FiMMIA en muchos modelos de IA diferentes (algunos con miles de millones de parámetros).

Misma familia, mismo modelo: Cuando el detective fue entrenado en una familia de modelos específica y probado en la misma familia, fue increíblemente preciso (más del 95% de éxito).
Entre familias: Incluso cuando el detective fue entrenado en un tipo de modelo y probado en un tipo totalmente diferente, todavía funcionó razonablemente bien (alrededor del 70-80% de éxito).

La conclusión final

Este artículo presenta FiMMIA, una nueva forma de atrapar a los modelos de IA que han memorizado secretamente sus datos de entrenamiento.

Primero, demuestra que muchas pruebas actuales están rotas debido a que los datos están sesgados.
Luego, ofrece una solución robusta: Romper ligeramente los datos, observar cómo reacciona la IA y usar esa reacción para decidir si la IA memorizó los datos.

Es una herramienta para que los investigadores aseguren que, cuando dicen que una IA es "inteligente", es porque realmente ha aprendido los conceptos, y no solo ha memorizado las preguntas del examen.

Resumen Técnico: FiMMIA – Escalamiento de la Inferencia de Membresía Basada en Perturbación Semántica a través de las Modalidades

1. Planteamiento del Problema

Los Ataques de Inferencia de Membresía (MIA, por sus siglas en inglés) pretenden determinar si un dato específico fue incluido en el conjunto de entrenamiento de un modelo objetivo. Aunque existen numerosos métodos para los Grandes Modelos de Lenguaje (LLM), su aplicación a los Modelos de Lenguaje Grandes Multimodales (MLLM) se ve obstaculizada por dos desafíos principales:

Desplazamientos de Distribución (Distribution Shifts): Los benchmarks actuales de MIA multimodal sufren de desplazamientos de distribución entre los datos miembros y no miembros. Estos desplazamientos permiten que los métodos base simples (que no consultan al modelo objetivo) superen a los ataques MIA sofisticados, lo que vuelve a estos benchmarks poco fiables para evaluar las capacidades reales de inferencia de membresía.
Complejidad de la Modalidad: Los MLLM involucran múltiples modalidades (texto, imagen, video, audio) y procesos de entrenamiento complejos (pre-entrenamiento, ajuste fino). A diferencia de los modelos de solo texto, las entradas multimodales a menudo carecen de tokens específicos para las no-textuales, lo que hace que la aplicación directa de los métodos de MIA basados en texto sea ineficaz. Además, las inestabilidades introducidas durante la adaptación multimodal y los posibles desplazamientos de distribución en las entradas complican la inferencia.

El artículo argumenta que, sin abordar estos desplazamientos de distribución y sin adaptar los métodos para manejar entradas multimodales, la detección fiable de la contaminación de datos en los MLLM sigue siendo inalcanzable.

2. Metodología: Marco de Trabajo FiMMIA

Los autores proponen FiMMIA (Framework for Multimodal MIA), un sistema modular diseñado para detectar la fuga de datos a través de las modalidades de imagen, audio y video. El marco opera bajo el principio de perturbación semántica, entrenando una red neuronal para analizar el comportamiento del modelo objetivo ante entradas perturbadas para capturar las diferencias distribucionales entre miembros y no miembros.

2.1 Detección de Baselines y Desplazamiento de Distribución

Antes de desplegar el MIA, los autores establecen una línea base para detectar desplazamientos de distribución:

Extracción Heurística: Para cada muestra de entrada (miembro o no miembro), se extraen directamente del conjunto de datos características heurísticas comunes (p. ej., SIFT, histogramas LBP) o características espectrales.
Clasificación Ciega: Se entrena un modelo de aprendizaje automático superficial (p. ej., regresión logística o gradient boosting) para distinguir entre miembros y no miembros utilizando únicamente estas características del conjunto de datos, sin recibir ninguna señal del modelo objetivo.
Validación: Si la línea base logra un AUC-ROC elevado (significativamente por encima de 50%), indica que existe un desplazamiento de distribución, lo que sugiere que el conjunto de datos es defectuoso para la evaluación de MIA. Los autores encontraron que la mayoría de los benchmarks existentes (p. ej., WikiMIA, VL-MIA) sufren tales desplazamientos, mientras que las divisiones aleatorias del dataset MERA no lo hacen.

2.2 Pipeline de Ataque Basado en Perturbación

El núcleo del pipeline de FiMMIA involucra los siguientes pasos:

Generación de Vecinos: Para cada muestra multimodal original $(t, s)$ $(t, s)$ (donde $t$ $t$ es el texto y $s$ $s$ es la modalidad), se generan $K=24$ $K = 24$ "vecinos" perturbados $(t'_k, s'_k)$ $(t_{k}^{'}, s_{k}^{'})$ .
- Las perturbaciones de texto incluyen: enmascaramiento aleatorio (predicho por Fred-T5), eliminación de tokens aleatorios, duplicación y permutación. Cada técnica se aplica 6 veces.
- Los datos de la modalidad ( $s$ ) permanecen sin cambios en los experimentos actuales ( $s = s'_k$ ), aunque el pipeline soporta la generación de vecinos multimodales.
Generación de Embeddings: Los embeddings de texto para el texto original y sus vecinos se extraen utilizando un codificador fijo (intfloat/e5-mistral-7b-instruct).
Computación de Pérdida: El modelo objetivo $M$ $M$ (y un modelo de referencia $M_{leak}$ $M_{l e ak}$ ) computa las pérdidas para las entradas originales y perturbadas.
- $L = L(M, t, s)$
- $L'_k = L(M, t'_k, s'_k)$
Construcción de Características: Para cada vecino $k$ $k$ , se calculan las diferencias de características:
- $\Delta L = L - L'_k$ (Diferencia de pérdida)
- $\Delta e = e - e'_k$ (Diferencia de embedding)
- Estas características se normalizan mediante z-score ( $\Delta L_{norm}$ ) para asegurar la estabilidad entre conjuntos de datos y modelos.
Entrenamiento del Modelo de Ataque: Se entrena un clasificador de red neuronal binaria ( $f_{FiMMIA}$ ) para predecir la probabilidad de que las características de la entrada provengan de un modelo entrenado con los datos objetivo (filtrado/leaked) frente a un modelo que no ha visto los datos (no filtrado/non-leaked). Las etiquetas de entrenamiento se derivan de si la pérdida proviene de $M$ o de $M_{leak}$ .

2.3 Inferencia

Para probar un modelo objetivo $M'$ en un punto de dato específico, el pipeline computa la pérdida y las diferencias de embedding para $M'$ , las normaliza y promedia los resultados de probabilidad del detector entrenado sobre todos los $K$ vecinos para producir una puntuación de fuga final.

3. Contribuciones Clave

Identificación de Desplazamientos de Distribución: Los autores extendieron el trabajo de Das et al. (2024) a datos multimodales, demostrando que los benchmarks actuales de MIA de imagen y texto sufren de severos desplazos de distribución. Demostraron que las líneas base estadísticas ciegas a menudo superan a los métodos de MIA de vanguardia en estos benchmarks.
MIA Basado en Perturbación Extendido: El artículo generaliza los métodos de MIA basados en perturbación semántica a los MLLM, probando su efectividad y transferibilidad incluso con modelos de miles de millones de parámetros a través de las modalidades de imagen, video y audio.
Framework FiMMIA: El lanzamiento de un marco de trabajo modular y de código abierto que soporta diversos conjuntos de datos, modalidades y métodos de generación de vecinos. Incluye modelos pre-entrenados y pipelines para la puntuación de ataque de línea base e inferencia.
Evaluación Robusta: Los autores utilizaron el benchmark MERA (idioma ruso) con divisiones aleatorias para asegurar la independencia entre miembros y no miembros, proporcionando una evaluación más creíble del rendimiento de MIA.

4. Resultados Experimentales

Los autores evaluaron FiMMIA en 9 MLLMs disponibles públicamente (que oscilan entre 3B y 12B de parámetros) a través de las modalidades de imagen, video y audio.

Rendimiento: FiMMIA logró puntuaciones AUC-ROC elevadas, que generalmente oscilan entre el 80% y el 90% a través de las modalidades.
- Imagen: AUC-ROC promedio de 88.66%.
- Video: AUC-ROC promedio de 88.39%.
- Audio: AUC-ROC promedio de 81.25%.
Transferibilidad: El modelo de ataque demostró una transferencia significativa dentro de las familias de modelos (p. ej., de Qwen2.5 a variantes de Qwen2.5), con puntuaciones AUC-ROC que a menudo superan el 90%. La transferibilidad entre familias fue menor, pero se mantuvo por encima del 65%, indicando la robustez del método.
Transferencia Multilingüe: Al ser entrenado con datos en ruso (MERA) y probado en conjuntos de datos en inglés (ScienceQA, MMStar, COCO), la detección de fuga de FiMMIA se alineó estrechamente con el método MM-DETECT (Song et al., 2025), sugiriendo propiedades de agnosticismo lingüístico.
Comparación con la Línea Base: En contraste con los benchmarks existentes donde las líneas base superaban a los ataques, el enfoque basado en la perturbación de FiMMIA logró distinguir con éxito entre miembros y no miembros cuando se evaluó en conjuntos de datos con divisiones adecuadas.

5. Significado y Reivindicaciones

El artículo posiciona a FiMMIA no como una herramienta para la extracción maliciosa de datos, sino como un mecanismo de diagnóstico y protección de la privacidad. Su importancia radica en:

Garantizar la Integridad de los Benchmarks: Al identificar casos donde las muestras de los benchmarks han sido memorizadas inadvertidamente (contaminación de datos), el marco ayuda a prevenir la saturación de los benchmarks y asegura comparaciones de modelos justas.
Auditar los Pipelines de Entrenamiento: Ofrece un mecanismo práctico para que los investigadores verifiquen que las mejoras de rendimiento provienen de avances genuinos y no del sobreajuste a los conjuntos de evaluación.
Abordar las Brechas Multimodales: Llena un vacío crítico en la literatura al proporcionar el primer marco integral de inferencia de membresía diseñado específicamente para las complejidades de los modelos multimodales, yendo más allá de las limitaciones de los enfoques de solo texto.

Los autores reconocen limitaciones, incluyendo la dependencia del acceso de caja gris (computación de pérdida), el enfoque en escenarios de ajuste fino de adaptadores de bajo rango (low-rank adapter) y el costo computacional de generar vecinos. Sin embargo, afirman que FiMMIA representa un paso necesario hacia estándares de evaluación resilientes para los MLLM.