Resumen Técnico: RHEA – Reconstrucción y Asignación Armonizada por Fiabilidad para el Agrupamiento Robusto de Grafos Multimodales con Atributos

1. Planteamiento del Problema

Los grafos con atributos multimodales (MAG, por sus siglas en inglés) representan nodos con atributos heterogéneos (por ejemplo, texto e imágenes) sobre una estructura relacional, sirviendo como base para tareas como el descubrimiento de comunidades y la segmentación de productos. Aunque los métodos actuales de agrupamiento de grafos multimodales funcionan bien cuando los atributos están limpios y completos, su rendimiento se degrada significamente bajo condiciones del mundo real donde los atributos son ruidosos, están corruptos o faltan.

La limitación central de los enfoques actuales es su suposición implícita de que la fiabilidad de la modalidad es uniforme en todos los nodos. En la práctica, la fiabilidad es específica de cada nodo: una imagen puede estar corrupta para un nodo mientras que su texto está incompleto, o viceversa. Los métodos existentes no logran distinguir entre modalidades fiables y no fiables a nivel de nodo individual, lo que conduce a representaciones fusionadas contaminadas por el ruido o incapaces de compensar la falta de datos. Además, en entornos no supervisados, no existen etiquetas para inferir esta fiabilidad, lo que plantea un desafío fundamental: cómo estimar la fiabilidad de la modalidad específica de cada nodo sin supervisión.

2. Metodología: RHEA

Los autores proponen RHEA (Reconstrucción y Asignación Armonizada por Fiabilidad), un marco que aprovecha el principio de homofilia de atributos —la observación de que los nodos vecinos tienden a compartir atributos semánticos similares— para estimar la fiabilidad y guiar el agrupamiento.

2.1 Estimación de la Fiabilidad por Consenso de Vecindad

RHEA estima un campo de fiabilidad de modalidad específico para cada nodo $\rho_{i,m} \in [0, 1]$ de manera totalmente no supervisada.

• Mecanismo: Para cada nodo $i$ y modalidad $m$, el método calcula una puntuación de acuerdo intra-modal $a_{i,m}$ basada en la similitud de coseno entre el embedding del nodo y los embeddings de sus vecinos en esa modalidad.
• Campo de Fiabilidad: Estas puntuaciones de acuerdo se convierten en una distribución de probabilidad sobre las modalidades para cada nodo utilizando una función softmax con un parámetro de temperatura $\tau$. Se asigna una alta fiabilidad a una modalidad que es consistente con su vecindad; una que se desvía recibe una baja fiabilidad.

2.2 Aprendizaje de Representación Consciente de la Fiabilidad

Una vez estimada la fiabilidad, RHEA reconstruye y fusiona representaciones de forma adaptativa:

• Reconstrucción: Si una modalidad falta o su puntuación de fiabilidad cae por debajo de un umbral $\gamma$, la representación se reconstruye agregando los embeddings de los nodos vecinos que tienen datos observados y fiables. Esto evita la propagación de señales faltantes o corruptas.
• Estimación de Confianza: Se calcula una puntuación de confianza de reconstrucción $c_i$ basada en el número de vecinos disponibles y la varianza de sus embeddings. Esto sirve como una medida de fiabilidad absoluta.
• Fusión Adaptativa: El embedding fusionado final $z_i$ es una suma ponderada de los embeddings específicos de cada modalidad, donde los pesos están determinados por la fiabilidad estimada $\rho_{i,m}$. Si una modalidad es reconstruida, se utiliza el embedding reconstruido; de lo contrario, se retiene el embedding observado original.

2.3 Agrupamiento Consciente de la Fiabilidad

La etapa de agrupamiento utiliza la información de fiabilidad para optimizar las asignaciones de clúster mediante Transporte Óptimo (OT) y Destilación de Asignación:

• OT Consciente de la Fiabilidad: Se calcula el costo de transporte entre los embeddings de los nodos y los prototipos de clúster. Crucialmente, las marginales de fila del plan de transporte están ponderadas por la confianza de reconstrucción $c_i$. Esto asegura que los nodos con reconstrucciones inciertas contribuyan menos masa al plan de transporte, reduciendo su influencia en la asignación final.
• Destilación de Asignación por Consenso de Vecindad (NCRC): Para regularizar aún más las asignaciones, una asignación de clúster suave se propaga sobre el grafo durante $L$ saltos. Este objetivo de consenso de vecindad se vuelve más nítido y se utiliza como un objetivo de destilación para fomentar asignaciones de clúster localmente consistentes, particularmente para nodos donde la evidencia directa es débil.

2.4 Optimización

El modelo se entrena de extremo a extremo minimizando una función de objetivo conjunta que comprende:

1. Pérdida de Agrupamiento ($L_{clu}$): El costo de transporte óptimo.
2. Pérdida de Destilación ($L_{ncrc}$): La pérdida de asignación por consenso de vecindad.
3. Pérdidas de Contraste Auxiliares: Una pérdida de contraste de caminata de grafo ($L_{nbr}$) para preservar la invarianza consciente de la topología y una pérdida de alineación cross-modal ($L_{mod}$) para alinear las representaciones específicas de la modalidad con el embedding fusionado.

3. Contribuciones Clave

El artículo identifica tres contribuciones primarias:

1. Perspectivas Valiosas: Los autores identifican la fiabilidad de la modalidad específica de cada nodo como un componente faltante para un agrupamiento robusto de MAG. Demuestran que las vecindades de los grafos proporcionan evidencia sin supervisión para estimar esta fiabilidad bajo la homofilia de atributos.
2. Método Novedoso: Se propone RHEA como un marco unificado donde una señal de fiabilidad compartida por consenso de vecindad guía simultáneamente:
   • La reconstrucción de atributos basada en grafos.
   • La fusión multimodal adaptativa.
   • El agrupamiento de transporte óptimo consciente de la topología.
3. Rendimiento de Vanguardia: Experimentos extensos muestran mejoras consistentes sobre los métodos existentes, con ganancias que se vuelven más pronunciadas a medida que la calidad de los atributos se deteriora.

4. Resultados Experimentales

RHEA fue evaluado en cuatro benchmarks de MAG (RedditS, Toys, Grocery, Amazon) bajo cinco condiciones de atributos: estándar (limpio), corrupción de imagen, ausencia de imagen, corrupción de texto y ausencia de texto.

• Configuración Estándar: RHEA logró el mejor rendimiento en los cuatro conjuntos de datos y en todas las métricas (NMI, ACC, ARI, F1), superando a bases sólidas como DGF y DMGC.
• Robustez a la Perturbación: Bajo modalidades corruptas o ausentes, RHEA superó consistentemente a todos los modelos de referencia. La brecha de rendimiento se amplió a medida que aumentaba la severidad de la perturbación. Por ejemplo, en el conjunto de datos RedditS con un 80% de ausencia de imágenes, RHEA mantuvo un NMI de 0.729, mientras que el siguiente mejor método (DGF) cayó a 0.647.
• Detección de Fiabilidad: Se demostró que el campo de fiabilidad aprendido detecta con precisión la corrupción inyectada sintéticamente, logiendo un AUROC consistentemente superior a 0.95 en todos los conjuntos de datos.
• Estudios de Ablación: Eliminar el módulo de reconstrucción causó la mayor caída de rendimiento bajo la ausencia de datos, mientras que eliminar el control de fiabilidad causó la mayor caída bajo la corrupción. Esto confirma que la reconstrucción gestiona los datos faltantes, mientras que el control de fiabilidad evita la inyección de ruido en los datos corruptos.

5. Significado y Reivindicaciones

El artículo afirma que RHEA demuestra la importancia de modelar la fiabilidad inducida por el grafo y específica de cada nodo para el aprendizaje de representaciones multimodales robustas. Al tratar la fiabilidad como una variable latente que varía entre nodos y modalidades, en lugar de una propiedad global, el marco repara eficazmente las observaciones no fiables utilizando el contexto estructural local.

Los autores posicionan a RHEA como una solución a la "suposición de datos limpios" prevalente en los métodos actuales de agrupamiento de MAG. Argumentan que el contexto estructural local proporciona una señal efectiva para identificar observaciones no fiables, permitiendo un agrupamiento robusto incluso cuando la calidad de los datos es heterogénea. El artículo concluye señalando que trabajos futuros investigarán la extensión del marco a grafos de baja homofilia y heterofilia, reconociendo que el método actual depende de la suposición de que los vecinos comparten atributos similares.