💻 computer science

CandidateFusion-MKAN: A Unified Framework for Robust Multimodal Crisis Classification across Diverse Supervision and Evidence Conditions

CandidateFusion-MKAN es un marco unificado que logra una clasificación de crisis multimodal de salida única robusta mediante la integración del aprendizaje de conjuntos de candidatos apoyado por modalidades, la verosimilitud del conjunto de candidatos y objetivos blandos adaptativos acotados para manejar eficazmente la supervisión diversa, la evidencia faltante o degradada, y las señales conflictivas o complementarias.

Autores originales: Zequn Wang, Shanshan Li, Qingjie Liu, Zhian Pan, Guan Li

Publicado 2026-09-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zequn Wang, Shanshan Li, Qingjie Liu, Zhian Pan, Guan Li

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las horas caóticas que siguen a un desastre, los gestores de emergencias dependen de una avalancha de información de las redes sociales para comprender lo que está sucediendo sobre el terreno. Un solo post puede contener un mensaje de texto describiendo un puente colapsado y una fotografía que muestra a una familia atrapada en un techo. Idealmente, estas dos piezas de evidencia apuntarían al mismo साथ de necesidad urgente, como "esfuerzos de rescate" o "daños en la infraestructura". Sin embargo, la realidad de la comunicación humana suele ser más desordenada. A veces, el texto y la imagen cuentan historias diferentes, quizás porque el autor se centra en las personas mientras que la foto captura la destrucción, o porque la imagen es borrosa y el texto es la única pista clara. En estos momentos, un sistema informático diseñado para clasificar estas publicaciones en categorías se enfrenta a una decisión difícil: ¿debería confiar en el texto, en la imagen o intentar adivinar una única respuesta que podría ignorar la verdad en uno de ellos? Si el sistema impone una decisión única y rígida demasiado pronto, corre el riesgo de descartar información vital que podría salvar vidas.

Este es el desafío específico que aborda un nuevo marco llamado CandidateFusion-MKAN, desarrollado por investigadores de la Universidad de Gestión de Emergencias y el Centro de Big Data del Ministerio de Gestión de Emergencias. El equipo se propuso construir un sistema que pudiera manejar la realidad desordenada de los datos de crisis sin perder el matiz de la evidencia original. En lugar de forzar a que el texto y la imagen coincidan en una sola etiqueta antes de que la computadora tome una decisión, su sistema mantiene ambas posibilidades vivas durante el proceso de aprendizaje. Trata al texto y a la imagen como dos testigos separados, cada uno ofreciendo su propia versión de la verdad, y solo los combina al final para producir una respuesta única y fiable. Este enfoque permite que el sistema sea robusto incluso cuando la evidencia es incompleta, degradada o contradictoria.

Los investigadores probaron su sistema con un conjunto masivo de datos de publicaciones de desastres reales, conocido como CrisisMMD, que incluye más de 18,000 pares de imagen-texto de siete desastres diferentes. Descubrieron que en más de la mitad de estas publicaciones, el texto y la imagen en realidad apoyaban categorías humanitarias distintas. Por ejemplo, una publicación podría tener un texto sobre "personas afectadas" mientras que la imagen mostraba "daños en la infraestructura". Los sistemas tradicionales suelen tener dificultades aquí, ya sea ignorando un lado o confundiéndose. El nuevo marco, sin embargo, aprendió a preservar ambas categorías como candidatos válidos. Utiliza un método que concentra la confianza de la computadora en el conjunto de opciones respaldadas por la evidencia, en lugar de forzarla a elegir un único ganador demasiado pronto. Si el texto y la imagen coinciden, el sistema se comporta como un clasificador estándar. Si no coinciden, mantiene ambas opciones en juego, asegurando que la decisión final esté fundamentada en la evidencia real proporcionada por ambas fuentes.

Para manejar el hecho de que los datos del mundo real suelen estar incompletos, el sistema también fue entrenado para lidiar con entradas faltantes o de baja calidad. En el mundo real, una foto puede ser demasiado oscura para verse, o un mensaje de texto puede estar cortado. Los investigadores simularon estas condiciones eliminando deliberadamente el texto o desenfocando las imágenes durante las pruebas. Descubrieron que su sistema podía adaptarse sin problemas, cambiando su dependencia hacia la evidencia restante que fuera clara. Cuando el texto faltaba, el sistema se apoyaba fuertmente en la imagen; cuando la imagen desaparecía, confiaba en el texto. Crucialmente, lo hizo sin necesidad de ser reentrenado para cada tipo específico de dato faltante. El sistema también aprendió a reconocer cuándo el texto y la imagen ofrecían pistas complementarias, donde ninguno era suficiente por sí solo, pero juntos pintaban un cuadro completo. En estos casos, el sistema combinó con éxito los distintos conocimientos de ambas fuentes para alcanzar una conclusión más precisa que si los hubiera tratado como redundantes.

Los resultados del estudio se midieron a través de miles de casos de prueba, incluyendo aquellos donde el texto y la imagen discrepaban. El nuevo marco alcanzó una precisión del 92.60% en las publicaciones donde el texto y la imagen coincidían, igualando el rendimiento de los mejores sistemas existentes. Más importante aún, en las publicaciones difíciles donde el texto y la imagen ofrecían información contradictoria, el sistema mantuvo un alto nivel de fiabilidad, identificando correctamente una categoría válida en más del 90% de los casos. También redujo significativamente la incertidumbre en sus predicciones en comparación con los métodos anteriores que simplemente promediaban los resultados del análisis de texto e imagen. Al mantener la evidencia separada hasta el momento final, el sistema evitó el problema de "promediar", donde una señal fuerte de una fuente se ve diluida por una señal débil o contradictoria de la otra.

Los investigadores también analizaron cómo el sistema maneja las categorías raras, como tipos específicos de lesiones o daños que aparecen en muy pocas publicaciones. Descubrieron que los métodos estándar suelen perder estos casos raros porque fuerzan una etiqueta única que podría no estar respaldada tanto por el texto como por la imagen. Al mantener abiertas las opciones de candidatos, el nuevo sistema preservó la capacidad de reconocer estas situaciones raras pero críticas, incluso cuando solo eran visibles en una parte de la publicación. Esto es vital para la respuesta de emergencia, donde omitir una condición rara pero grave puede tener consecuencias graves. El estudio demostró que el sistema podía transferir su aprendizaje a nuevos tipos de desastres que nunca había visto, siempre que hubiera visto suficientes ejemplos de los tipos generales de eventos, como inundaciones o terremotos, durante el entrenamiento.

Al final, este trabajo demuestra que la clasificación de crisis robusta no requiere que la evidencia sea perfecta o consistente. Requiere un sistema que pueda respetar la complejidad de la comunicación humana y las limitaciones de los datos del mundo real. Al tratar el texto y la imagen como fuentes independientes de verdad y solo fusionarlos cuando es necesario, el marco CandidateFusion-MKAN proporciona una herramienta más fiable para los gestores de emergencias. Asegura que, cuando se toma una decisión, esta se base en todo el peso de la evidencia disponible, ya sea que esa evidencia sea clara, conflictiva o incompleta. Este enfoque ofrece un camino práctico para el uso de la inteligencia artificial en entornos de alto riesgo donde el costo de una suposición errónea es demasiado alto como para ignorar los detalles.

Resumen Técnico: CandidateFusion-MKAN

Planteamiento del Problema
La clasificación de crisis multimodal en entornos de emergencia del mundo real enfrenta incertidumbres significativas donde la evidencia de texto e imagen puede respaldar la misma categoría humanitaria, respaldar categorías diferentes, proporcionar pistas complementarias o resultar ausente/degradada. Los enfoques existentes suelen estudiar estas condiciones de forma aislada o colapsan las anotaciones inconsistentes de las modalidades en una única etiqueta a nivel de post antes del entrenamiento, descartando así la supervisión presente directamente en una modalidad. Además, los clasificadores estándar tienen dificultades para mantener la robustez cuando las entradas son incompletas o cuando las modalidades proporcionan señales conflictivas, aunque el sistema desplegado debe producir una única y fiable predicción Top-1. El desafío consiste en unificar el manejo de la supervisión de etiquetas consistentes, el desacuerdo de etiquetas respaldadas por modalidades, la evidencia complementaria y las modalidades ausentes/degradadas dentro de un marco de salida única sin alterar el espacio de decisión final.

Metodología: CandidateFusion-MKAN
Los autores proponen CandidateFusion-MKAN, un marco unificado diseñado para preservar la supervisión respaldada por la modalidad y rutear caminos predictivos de forma adaptativa basándose en la calidad de la evidencia. La arquitectura y la estrategia de aprendizaje se definen por cuatro componentes principales:

Aprendizaje de Conjunto de Candidatos Respaldado por la Modalidad (MSCSL): En lugar de forzar una única etiqueta de verdad fundamental (ground-truth), el marco representa la supervisión de cada instancia como la unión de las categorías respaldadas por la anotación de texto ( $y^t_i$ ) y la anotación de imagen ( $y^v_i$ ).
- Si $y^t_i = y^v_i$ , el conjunto de candidatos es un singleton (supervisión estándar de etiqueta dura).
- Si $y^t_i \neq y^v_i$ , el conjunto de candidatos contiene dos categorías observadas, preservando ambas señales sin colapsarlas.
Funciones de Pérdida (CSL y BAST):
- Verosimilitud del Conjunto de Candidatos (CSL): El objetivo principal maximiza la probabilidad total asignada al conjunto de candidatos observado $S_i$ . Esto concentra la masa de probabilidad en las categorías válidas sin imponer una distribución específica entre ellas.
- Objetivo Suave Adaptativo Acotado (BAST): Para guiar la asignación de probabilidad dentro de un conjunto de candidatos dual, BAST proporciona un objetivo suave y acotado secundario. Utiliza predicciones unimodales desvinculadas para estimar la fuerza relativa de la evidencia de texto frente a la de imagen, generando una distribución objetivo $\rho_i$ que se recorta a un rango seguro. Esto guía al modelo para asignar la probabilidad basándose en la confianza específica de la modalidad sin cambiar el espacio de etiquetas.
Expertos de Preservación de Modalidad: El modelo emplea tres rutas predictivas distintas:
- Experto de Texto: Supervisado únicamente por anotaciones de texto.
- Experto de Imagen: Supervisado únicamente por anotaciones de imagen.
- Experto Conjunto: Supervisado por el conjunto de candidatos, utilizando representaciones de contexto cruzado (interacción bidireccional a nivel de token), interacciones multiplicativas y pistas de similitud semántica.
- Todos los expertos utilizan codificadores CLIP ViT-L/14 congelados y capas de refinamiento KAN (Red Kolmogorov-Arnold) aprendibles.
Ruteo Adaptativo a la Fiabilidad (RAR): Un ruteador combina dinámicamente las salidas de los tres expertos basándose en señales a nivel de instancia, incluyendo la disponibilidad de la modalidad, la confianza del experto, la entropía, el desacuerdo predictivo (divergencia de Jensen–Shannon) y la similitud semántica. Esto permite al sistema reasignar la influencia cuando una modalidad está ausente o cuando la evidencia está degradada.

Contribuciones Clave

Marco Unificado: El artículo organiza la clasificación robusta de crisis multimodales alrededor de cuatro condiciones recurrentes (Etiqueta Consistente, Desacuerdo de Etiquetas, Evidencia Complementaria, Modalities Ausentes/Degradadas) y las conecta con una formulación de problema y un protocolo de evaluación únicos.
Mecanismo de Supervisión Novedoso: La introducción de MSCSL, CSL y BAST permite al modelo retener las categorías respaldadas por la modalidad durante el desacuerdo, manteniendo una interfaz de Top-1 estándar.
Arquitectura Adaptativa: La construcción de expertos supervisados por separado combinada con un ruteo adaptativo a la fiabilidad asegura que la evidencia específica de la modalidad y la evidencia transmodal permanezcan disponibles según cambie la calidad de la entrada.
Evaluación Exhaustiva: El marco se evalúa a través de compatibilidad de etiquetas consistentes, desacuerdo en el test completo, evidencia complementaria bloqueada en desarrollo, 43 condiciones controladas de ausencia/degradación y transferencia de eventos/tipos de desastre.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos CrisisMMD (18,082 instancias), cubriendo 973 instancias de etiquetas consistentes y 1,264 de desacuerdo de etiquetas.

Supervisión de Etiquetas Consistentes (Protocolo A): El marco alcanza una precisión del 92.60%, demostrando compatibilidad con la clasificación convencional de etiqueta única.
Desacuerdo de Etiquetas Respaldado por la Modalidad (Protocolo B): En el conjunto de prueba completo, el modelo alcanza un 90.84% de AnyAcc (precisión donde la predicción Top-1 cae dentro del conjunto de candidatos). En el subconjunto específico de desacuerdo, alcanza un 90.74% de AnyAcc. Comparado con el promedio de probabilidad texto-imagen, reduce el Set-NLL en 0.048 y reduce el Error de Calibración Esperada (ECE) de admisibilidad de 0.214 a 0.047.
Evidencia Complementaria: En un subconjunto de 463 instancias con pistas distintas pero conjuntamente útiles, el modelo iguala el mejor AnyAcc de 85.53% mientras reduce el Set-NLL de 0.431 a 0.363.
Robustez ante Modalities Ausentes/Degradadas: El sistema mantiene el rendimiento operativo a través de 43 condiciones. La eliminación explícita de una modalidad activa una reasignación clara por parte del ruteador (por ejemplo, desplazando el peso de texto a imagen cuando el texto falta), mientras que la degradación continua de las características afecta más al rendimiento que a los pesos de ruteo.
Aprendizaje de Transferencia: En los entornos de Leave-One-Event-Out (LOEO) y Leave-One-Disaster-Type-Out (LODO), el rendimiento cae (por ejemplo, 80.76% de AnyAcc al excluir la familia de huracanes), lo que resalta la sensibilidad a la cobertura de la familia de eventos en los datos de origen.

Significación y Reivindicaciones
El artículo afirma que CandidateFusion-MKAN demuestra una clasificación de salida única robusta a través de diversas condiciones de supervisión y evidencia. Su significación radica en:

Preservación de la Supervisión: Evita la pérdida de evidencia minoritaria o específica de la modalidad que ocurre cuando los pares inconsistentes se colapsan en una sola etiqueta, lo cual es particularmente crítico para categorías de cola larga (por ejemplo, "personas afectadas" donde el 43.29% de las instancias respaldadas por la modalidad se perderían bajo la consolidación estándar).
Manejo Unificado: Aborda la brecha donde trabajos previos estudiaban el desacuerdo, la complementariedad o las modalidades ausentes por separado, proporcionando un único marco que gestiona las cuatro condiciones sin alterar el espacio de salida de cinco clases.
Calibración y Fiabilidad: Al concentrar la probabilidad en el conjunto de candidatos observado y utilizar un ruteo adaptativo, el modelo produce predicciones mejor calibradas (menor ECE) y una mayor masa de candidatos que los baselines de fusión estándar, incluso cuando la decisión Top-1 final es correcta.

Los autores concluyen que el marco proporciona una interfaz de salida única mientras retiene más de la supervisión y la evidencia predictiva disponible en las condiciones de crisis multimodales reales, aunque señalan que la transferencia de dominio sigue siendo sensible a la cobertura de las familias de eventos en los datos de entrenamiento.

Más como este