CRANE: Knowledge Editing for Reasoning MLLMs

1. Colapso Estructural: Los modelos de razonamiento que requieren el esquema <answer>...</answer> experimentan una caída en las tasas de formato hasta casi cero (por ejemplo, 0% para FT/LoRA/WISE en Vision-R1) o generan texto ininteligible.
2. Disonancia Cognitiva: Incluso cuando el hecho editado se almacena correctamente, la cadena de razonamiento del modelo rechaza activamente el hecho inyectado en favor de los sesgos visuales (visual priors) cuando la imagen contradice la edición. El modelo reconoce la contradicción pero finalmente se inclina por la evidencia visual, lo que conduce a un Éxito con Fundamentación (GS) del 0% en escenarios de conflicto.
3. Internalización Superficial: Los métodos que dependen de una memoria externa indexada a entradas específicas (por ejemplo, GRACE, IKE) tienen éxito en consultas exactas, pero fallan al generalizar a preguntas reformuladas o cadenas de razonamiento de múltiples pasos (multi-hop). No logran propagar el conocimiento editado como una entidad intermedia, regresando al conocimiento paramétrico original o a los sesgos visuales.

2. Metodología

A. Marco de Diagnóstico: ReasonEdit-Bench y Evaluación Consciente de CoT

Para exponer estos fallos, los autores proponen un protocolo de evaluación consciente de CoT y construyen ReasonEdit-Bench, un conjunto de evaluación derivado de VLKEB pero mejorado con:

• Estratificación de Conflicto: Separación de muestras en categorías "Normal" (la imagen coincide con la edición) y "Conflicto" (la imagen contradice la edición).
• Sondas de Múltiples Niveles: Expansión de los objetivos de edición desde nombres de entidades simples hacia hechos descriptivos, probando tanto la identificación de entidades como el razonamiento de atributos.
• Portabilidad de Múltiples Pasos (Multi-Hop): Prueba de la propagación de hechos editados a través de cadenas de razonamiento.

El protocolo utiliza un LLM como Juez para inspeccionar la cadena completa de razonamiento, introduciendo cuatro métricas clave:

• Integridad del Esquema: Mide la fracción de salidas que mantienen un formato CoT válido.
• Éxito con Fundamentación (GS): La métrica principal de fiabilidad. Requiere que tanto la respuesta superficial coincida con el objetivo de la edición, como que la traza de razonamiento fundamente explícitamente la respuesta en el hecho editado.
• Independencia de la Edición (EI): Mide si el modelo evita contaminar consultas no relacionadas con hechos de edición irrelevantes.
• Entidad Intermedia Utilizada (IU) / Uso de lo Visual en su Lugar (UVI): Métricas de múltiples pasos que evalúan si la entidad editada se propaga correctamente o si el modelo regresa a los sesgos visuales.

B. Solución Propuesta: CRANE

Los autores proponen CRANE (Counterfactual Reasoning Arbitration for Multi-modal kNowledge Editing), un marco de recuperación aumentada diseñado para evitar la modificación de pesos y, por ende, prevenir el Colapso Estructural. CRANE opera en dos fases:

1. Sistema de Recuperación de Doble Biblioteca Sensible a la Modalidad

• Arquitectura de Doble Índice: Mantiene índices FAISS separados para los embeddings de imagen (SigLIP) y los embeddings de texto de los hechos editados para evitar la interferencia semántica en escenarios de conflicto.
• Cabeza de Proyección Contrastiva: Una cabeza lineal ligera entrenada con pérdida symmetric InfoNCE para mejorar la discriminación de entidades en el espacio de embeddings, aumentando el hit@1 del 69.7% al 90.4%.
• Defensa de Umbral de Confianza: Filtra recuperaciones espurias en escenarios de localidad (donde la imagen de la consulta no coincide con ningún hecho editado) mediante el establecimiento de un umbral de similitud, reduciendo las inyecciones de ediciones falsas.

2. Estrategia de Entrenamiento de Dos Fases

• Fase I: Ajuste Fino Supervisado (SFT): El modelo se ajusta finamente con 6,000 ejemplos de alta calidad de CoT para dominar el contrato estructural de la edición. Esta fase enseña habilidades meta: cómo citar hechos editados, cómo reconocer conflictos visual-textuales y cómo identificar la irrelevancia, sin inyectar conocimiento fáctico específico.
• Fase II: GRPO con Recompensa de Enrutamiento Cognitivo: El modelo se refina mediante la Optimización de Política Relativa de Grupo (GRPO). La función de recompensa ($R_{total}$) combina precisión, cumplimiento de formato y una novedosa Recompensa de Enrutamiento Cognitivo ($R_{reasoning}$) que se adapta según el escenario:
  • Normal: Recompensa la citación explícita del hecho editado ($R_{align}$).
  • Conflicto: Recompensa un patrón de razonamiento de tres etapas: reconocer la evidencia visual, usar una palabra pivote (ej. "sin embargo") y comprometerse con el hecho editado ($R_{override}$).
  • Localidad: Recompensa el reconocimiento de la consulta como distinta de los hechos editados y la evitación de alucinaciones ($R_{isolate}$).

3. Contribuciones Clave

1. Marco de Diagnóstico: Identificación de tres modos de fallo (Colapso Estructural, Disonancia Cognitiva, Internalización Superficial) y un protocolo de evaluación consciente de CoT respaldado por un Juez LLM.
2. ReasonEdit-Bench: Un conjunto de evaluación exhaustivo que presenta estratificación de conflicto, expansión de conocimiento de forma libre y pruebas de portabilidad de múltiples pasos.
3. Marco CRANE: Un método de edición mediante recuperación aumentada que no requiere modificación de parámetros por edición, utilizando SFT para la inicialización estructural y GRPO con recompensas específicas por escenario para arbitrar entre los sesgos visuales y los hechos editados.
4. Evidencia Empírica: Experimentos exhaustivos que demuestran que las métricas tradicionales (TF-Acc) son poco fiables para MLLM de razonamiento y que CRANE mitiga eficazmente los fallos identificados.

4. Resultados

Los experimentos se realizaron en ReasonEdit-Bench y en el benchmark fuera de distribución MMEVOKE utilizando Qwen2.5-VL-7B-Instruct como modelo base.

• Resolución de Conflictos: CRANE alcanza un 96.9% de Éxito con Fundamentación en escenarios de conflicto, superando significativamente a los baselines. Por ejemplo, mientras que LoRA cae del 92.4% (normal) al 86.9% (conflicto) en Qwen2.5-VL, e IKE colapsa al 6.1%, CRANE mantiene un alto rendimiento.
• Razonamiento de Múltiples Pasos: CRANE logra un 96.9% de Entidad Intermedia Utilizada (IU) en escenarios de conflicto con solo un 1.7% de UVI (regresión a sesgos visuales). En contraste, métodos como GRACE e IKE logran un IU cercano a cero (<0.4%) y un UVI superior al 91%, indicando que no internalizan realmente el conocimiento.
• Localidad: CRANE alcanza un 97.6% de Independencia de Edición de Texto y un 68.1% de Independencia de Edición de Imagen. Aunque es inferior a la localidad casi perfecta de GRACE (99.5%), los autores señalan que la localidad de GRACE es un subproducto de su incapacidad para afectar al modelo (fallo de fiabilidad), mientras que CRANE equilibra una alta fiabilidad con una localidad no trivial.
• Fuera de Distribución (MMEVOKE): Bajo recuperación de oro (gold retrieval de hechos editados), CRANE alcanza el 87.0%, una mejora de 19.2% sobre el modelo base. Con recuperación de fusión, alcanza el 69.8%, superando al modelo base con recuperación de oro (67.8%), confirmando que los patrones de razonamiento se generalizan.

5. Significado y Reivindicaciones

El artículo sostiene que una edición de conocimiento efectiva para MLLM de razonamiento requiere un cambio de paradigma: pasar de la inyección de respuestas superficiales a entrenar al modelo para razonar sobre los hechos editados a través de su proceso explícito de CoT.

• Limitaciones de las Métricas Actuales: Los autores enfatizan que la TF-Acc no es fiable para modelos de razonamiento, con una brecha entre TF-Acc y Éxito con Fundamentación de hasta 99 puntos porcentuales en escenarios de conflicto.
• Necesidad de la Conciencia de CoT: El estudio demuestra que los métodos que fallan en preservar el esquema CoT o que no logran resolver los conflictos visual-textuales no son aptos fundamentalmente para los MLLM de razonamiento.
• Enfoque de CRANE: Al desacoplar la recuperación de la modificación de pesos y utilizar el aprendizaje por refuerzo para enseñar al modelo cómo arbitrar entre la evidencia visual y los hechos inyectados, CRANE aborda las causas raíz del fallo sin provocar el Colapso Estructural.
• Cuello de Botella Actual: Los autores señalan modestamente que, si bien el componente de razonamiento de CRANE se generaliza bien, el cuello de botella actual para el despliegue fuera de distribución es la precisión de la recuperación, lo que sugiere que el trabajo futuro debería centrarse en la recuperación adaptativa al dominio.