💻 computer science

Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models

Este trabajo propone HFRU, un marco de olvido por refuerzo que opera sobre el codificador de visión con una optimización basada en GRPO y una recompensa de abstracción para lograr un olvido semántico profundo de conocimientos sensibles en modelos de visión y lenguaje, evitando al mismo tiempo eficazmente las alucinaciones de objetos.

Autores originales: Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

Publicado 2026-05-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo Visión-Lenguaje (VLM) como un bibliotecario superinteligente y multilingüe que ha leído todos los libros y visto todas las imágenes de internet. Este bibliotecario es increíblemente útil, pero a veces recuerda cosas que no debería: como el rostro de una celebridad específica, una foto privada o una imagen con derechos de autor.

Cuando le pedimos al bibliotecario que "olvide" estas cosas específicas, los métodos actuales suelen actuar como un editor torpe. Solo tachan los nombres en el cuaderno del bibliotecario (la salida de texto), pero dejan intacta la imagen mental real de esa persona u objeto en el cerebro del bibliotecario. Si haces una pregunta tramposa como: "¿Está esta persona en la foto?", el bibliotecario podría reconocerla aún así, incluso si prometió no decir su nombre. Peor aún, cuando se le fuerza a olvidar, el bibliotecario podría empezar a inventar cosas, describiendo con confianza un gato cuando la foto muestra en realidad un perro, solo para llenar el silencio.

El artículo introduce un nuevo método llamado HFRU (Desaprendizaje por Refuerzo Libre de Alucinaciones) para solucionar esto. Así es como funciona, usando analogías simples:

1. El Problema: "Amnesia Superficial"

La mayoría de los métodos actuales intentan hacer que el bibliotecario olvide editando solo su habla (el decodificador de lenguaje).

La Analogía: Imagina decirle a un estudiante: "No digas la palabra 'manzana'". El estudiante deja de decir "manzana", pero aún tiene una imagen mental perfecta de una manzana en su cabeza. Si le muestras una foto y preguntas: "¿Qué fruta es esta?", podría seguir sabiendo que es una manzana, o podría entrar en pánico y adivinar "plátano" solo para evitar decir "manzana". Esto se llama alucinación: inventar hechos que no existen.

2. La Solución: Reconfigurar los "Ojos"

HFRU adopta un enfoque diferente. En lugar de solo editar el habla, va directamente a la parte del cerebro del bibliotecario que ve y reconoce imágenes (el codificador de visión).

La Analogía: En lugar de solo decirle al estudiante que no diga "manzana", HFRU difumina suavemente la imagen mental de la manzana en la mente del estudiante. Reconfigura cómo el cerebro procesa ese patrón visual específico para que ya no se parezca a una manzana.

3. El Proceso de Dos Etapas

HFRU utiliza un proceso de entrenamiento en dos etapas para hacer esto de forma segura:

Etapa 1: La Fase de "Confusión" (Arranque en Frío)
El sistema muestra al bibliotecario imágenes de las cosas que deben ser olvidadas (por ejemplo, un perro específico) pero le dice que las describa como algo diferente (por ejemplo: "Esto es un conejo").
- Objetivo: Esto rompe el vínculo fuerte entre la imagen y su nombre original. Es como enseñarle al bibliotecario que cuando vea a ese perro específico, debe pensar "conejo" en su lugar. Esto debilita la memoria antes de que comience el trabajo real.
Etapa 2: La Fase de "Recompensa Inteligente" (Aprendizaje por Refuerzo)
El sistema utiliza un sistema de puntuación tipo juego (llamado GRPO) para entrenar al bibliotecario.
- La Penalización: Si el bibliotecario menciona el nombre prohibido (por ejemplo, "perro"), pierde puntos.
- La Recompensa por Abstracción (El Secreto): Esta es la gran innovación del artículo. Si el bibliotecario se ve obligado a olvidar "perro", podría sentirse tentado a adivinar "gato" (alucinación). HFRU otorga un bono si el bibliotecario usa una palabra segura y general como "animal" en su lugar.
- La Analogía: Imagina a un maestro diciéndole a un estudiante: "No digas 'perro'". Si el estudiante dice "gato", recibe una mala calificación (alucinación). Pero si dice "animal", recibe una estrella de oro. Esto enseña al estudiante a ser vago y seguro en lugar de inventar una respuesta específica incorrecta.

4. Los Resultados

El artículo probó esto en dos tipos de tareas: reconocer objetos (como perros y elefantes) y reconocer rostros (como personas famosas específicas).

Olvido: HFRU logró que el bibliotecario olvidara los objetivos específicos entre un 98-99% de las veces.
Recordar: Mantuvo la capacidad del bibliotecario para reconocer todo lo demás (como gatos u otras personas) casi perfectamente.
Sin Alucinaciones: Crucialmente, a diferencia de otros métodos que hacían que el bibliotecario adivinara a lo loco, HFRU casi nunca inventó objetos falsos. El bibliotecario o bien decía "No lo sé" o usaba una palabra general segura como "animal".

Resumen

Piensa en HFRU como una cirugía especializada de la memoria. En lugar de solo ponerle un bozal al bibliotecario para que deje de hablar ciertas palabras, reconfigura cuidadosamente su centro de reconocimiento visual. Les enseña a reemplazar recuerdos específicos y sensibles con conceptos generales y seguros, asegurando que no inventen cosas por accidente cuando intentan olvidar. El resultado es un modelo que olvida verdaderamente lo que necesita, sin perder la cabeza ni inventar mentiras.

Resumen Técnico: Desaprendizaje por Refuerzo Libre de Alucinaciones de Objetos para Modelos Visuales-Lingüísticos

Definición del Problema

Los Modelos Visuales-Lingüísticos (MVL) plantean riesgos significativos en cuanto a privacidad, derechos de autor y sesgos, lo que hace necesario el desaprendizaje automático para eliminar conocimientos sensibles específicos. Sin embargo, los métodos de desaprendizaje existentes dependen principalmente del ajuste fino del decodificador de lenguaje. Los autores identifican una limitación crítica en este enfoque: conduce a un olvido superficial. Aunque el modelo pueda suprimir la generación de palabras clave específicas en texto abierto, conserva las representaciones visuales subyacentes del concepto objetivo dentro del codificador visual. En consecuencia, el modelo aún puede reconocer o razonar sobre el concepto olvidado cuando se le solicita de forma discriminativa (por ejemplo, "¿Es esta persona X?").

Además, el artículo destaca un modo de fallo previamente pasado por alto: la alucinación de objetos. Cuando se fuerza a un modelo a suprimir un concepto sin un respaldo semántico, puede redistribuir arbitrariamente la masa de probabilidad hacia objetos no relacionados que no están fundamentados en la entrada visual. El artículo define formalmente el objetivo del Desaprendizaje de MVL Libre de Alucinaciones de Objetos, el cual requiere:

Olvido Efectivo: Eliminar la influencia del concepto objetivo tanto en tareas generativas como discriminativas.
Preservación de la Utilidad: Mantener el rendimiento en datos no objetivo (de retención) y en benchmarks generales.
Generación Libre de Alucinaciones: Asegurar que, cuando el modelo no puede identificar un concepto objetivo, no afirme con confianza la presencia de objetos no relacionados. En su lugar, debe expresar incertidumbre o utilizar hiperónimos semánticamente válidos (por ejemplo, "un animal" en lugar de un "perro" específico o un "gato" aleatorio).

Metodología: Marco HFRU

Los autores proponen HFRU (Desaprendizaje por Refuerzo Libre de Alucinaciones), un marco de dos etapas que opera directamente sobre el codificador visual en lugar del decodificador de lenguaje. Esto asegura una eliminación semántica profunda a nivel de representación.

Etapa 1: Disrupción de la Alineación de Inicio en Frío

La primera etapa emplea el Ajuste Fino Supervisado (SFT) para disrumpir la alineación entre las características visuales en el conjunto de olvido y sus etiquetas semánticas originales.

Proceso: El modelo genera una descripción para una imagen en el conjunto de olvido. Las palabras clave relacionadas con el concepto objetivo se reemplazan aleatoriamente por tokens del conjunto de retención (por ejemplo, reemplazar "perro" por "conejo").
Objetivo: El codificador visual se entrena para asociar la entrada visual con el texto modificado y desajustado. Esto debilita la dependencia del modelo del concepto objetivo e inicializa el codificador en un estado donde la asociación original está significativamente disrumpida.

Etapa 2: Desaprendizaje por Refuerzo Solo del Codificador

La segunda etapa utiliza la Optimización de Política Relativa por Grupos (GRPO) para refinar los parámetros del codificador visual mientras se mantiene el decodificador de lenguaje congelado.

Estructura de Recompensa Compuesta: La innovación central es una función de recompensa diseñada para penalizar los conceptos objetivo mientras fomenta abstracciones semánticamente válidas.
- Recompensa de Penalización ( $R_{pen}$ ): Penaliza la generación de palabras clave objetivo y sus sinónimos.
- Recompensa de Abstracción ( $R_{abs}$ ): Recompensa la generación de hiperónimos (por ejemplo, "animal" para "perro") en lugar de objetos no relacionados. Esto actúa como un "respaldo semántico seguro", guiando al modelo a sustituir los conceptos olvidados con categorías superiores válidas.
- Recompensa de Retención ( $R_{retain}$ ): Asegura que el modelo conserve el conocimiento de conceptos no objetivo.
Optimización: GRPO calcula ventajas relativas dentro de un grupo de respuestas muestreadas para estabilizar el entrenamiento. La función objetivo maximiza la recompensa para el conjunto de olvido (penalizando objetivos, recompensando hiperónimos) y el conjunto de retención (recompensando la preservación), remodelando efectivamente el espacio de representación latente.

Garantía Teórica

El artículo proporciona una demostración teórica (Lema 1) que demuestra que la inclusión de la recompensa de abstracción ( $R_{abs}$ ) reduce sistemáticamente la tasa esperada de alucinaciones en comparación con el uso de una recompensa solo de penalización. Al proporcionar una ruta semántica válida (hiperónimos) para la masa de probabilidad eliminada del concepto objetivo, es menos probable que el modelo genere objetos no fundamentados y alucinados.

Contribuciones Clave

Definición del Problema: Los autores definen formalmente el nuevo problema del desaprendizaje de MVL libre de alucinaciones de objetos, abordando el modo de fallo donde la eliminación de conceptos desencadena la generación de contenido no fundamentado.
Marco HFRU: Proponen un marco de dos etapas dirigido al codificador visual. Esto asegura una eliminación semántica profunda en lugar de un filtrado léxico superficial. Teóricamente, este mecanismo reduce las alucinaciones en el conjunto de olvido.
Visualización Novel: Los autores desarrollan un método para reconstruir la percepción interna a partir de estados ocultos utilizando una red de mapeo y un IP-Adapter basado en difusión, permitiendo la observación directa de cómo cambian las características visuales durante el desaprendizaje.
Evaluación Exhaustiva: Experimentos extensos en tareas de reconocimiento de objetos (PACS) e identidad facial (VGGFace2) demuestran la eficacia del marco.

Resultados Experimentales

Los autores evaluaron HFRU en los conjuntos de datos PACS y VGGFace2, comparándolo con líneas base que incluyen Ascenso de Gradiente (GA), Diferencia de Gradiente (GD), NPO, RMU, SAUCE y SLUG.

Olvido y Retención: HFRU logró una tasa de olvido promedio y un rendimiento de retención superiores al 98% en varios formatos de prompt (Original, Parafraseado y Discriminativo).
Mitigación de Alucinaciones: A diferencia de las líneas base que a menudo intercambian olvido por alucinaciones (por ejemplo, SAUCE mostró un alto olvido pero una tasa de alucinación del 20,67% en VGGFace2), HFRU introdujo alucinaciones de objetos neglijibles (0,25% en PACS, 1,34% en VGGFace2).
Utilidad General: HFRU mantuvo capacidades generales visuales-lingüísticas comparables al modelo base, mientras que muchas líneas base sufrieron una degradación significativa en benchmarks generales (MMStar, OCRBench, MMMU, RealWorldQA).
Estudios de Ablación: Eliminar la recompensa de abstracción provocó un aumento masivo en las alucinaciones (hasta un 99,67% en VGGFace2), confirmando su papel crítico. Se demostró que restringir las actualizaciones al codificador visual es superior al ajuste fino de todos los parámetros, lo que a menudo resultó en una supresión superficial a nivel de token.

Significado y Afirmaciones

El artículo afirma que HFRU establece un nuevo estado del arte para el desaprendizaje de MVL al resolver el doble desafío de la eliminación efectiva de conceptos y la prevención de alucinaciones. El significado radica en:

Cambio de Enfoque: Mover el desaprendizaje del decodificador de lenguaje al codificador visual para lograr una borradura semántica verdadera.
Seguridad y Fiabilidad: Proporcionar un mecanismo que previene que los modelos "alucinen" nuevos hechos, potencialmente dañinos o incorrectos, cuando se les obliga a olvidar datos específicos.
Robustez: Demostrar que el método se generaliza a entornos fuera de distribución (OOD) (por ejemplo, el dominio de Boceto en PACS) sin sobreajustarse a la distribución de entrenamiento.

Los autores concluyen que su trabajo resalta la necesidad de intervenciones a nivel de codificador y un diseño estructurado de recompensas para un desaprendizaje multimodal fiable, ofreciendo un enfoque práctico para sistemas de IA más seguros y confiables.