Resumen Técnico: Redes Neuronales de Grafos Robustas mediante el Refinamiento de Etiquetas Guiado por Comunidades y Aprendizaje Contrastivo Progresivo

1. Planteamiento del Problema

Las Redes Neuronales de Grafos (GNN) son altamente efectivas para la clasificación de nodos semi-supervisada, pero sufren significativamente debido al ruido de etiquetas. El mecanismo de paso de mensajes inherente a las GNN causa que la supervisión errónea se propague a través de la estructura del grafo, contaminando las representaciones de los nodos vecinos y degradando la generalización.

Los métodos de GNN robustos existentes enfrentan dos limitaciones primarias:

1. Sesgo Local: La mayoría de las estrategias de corrección de etiquetas dependen fuertemente de la homofilia local (información de los vecinos) y pasan por alto la información estructural global. Esto las hace susceptibles a la interferencia de señales ruidosas locales en estructuras de grafos complejas.
2. Inestabilidad del Aprendizaje Contrastivo: En el aprendizaje contrastivo de grafos, las señales de supervisión ruidosas pueden distorsionar la alineación de las representaciones. Incorporar directamente etiquetas ruidosas en las etapas tempranas del entrenamiento puede causar que el modelo aprenda una supervisión errónea, y el mecanismo de paso de mensajes facilita aún más la propagación del ruido.

Además, mientras que las comunidades en los datos de grafos suelen exhibir una fuerte consistencia semántica (los nodos dentro de la misma comunidad tienden a compartir etiquetas similares), los métodos actuales rara vez elevan la mitigación de ruido del nivel de nodo al nivel de comunidad.

2. Metodología: CG-GNN

Los autores proponen CG-GNN, un marco que integra el refinamiento de etiquetas guiado por comunidades con el aprendizaje contrastivo progresivo. La arquitectura consta de tres componentes principales:

A. Aumento de Grafos y Optimización de la Ruta de Propagación

Para abordar la escasez de etiquetas y la propagación de ruido, el marco primero mejora la estructura del grafo y optimiza las rutas de propagación:

• Aumento de Grafos (Graph Augmentation): Los nodos no etiquetados se conectan a los nodos etiquetados basándose en la similitud de características (similitud de coseno de las incrustaciones GCN). Se utiliza una pérdida de reconstrucción de aristas para optimizar estos pesos de asociación latente, creando una matriz de adyacencia aumentada $\hat{A}$.
• Detección de Ruido: Una estrategia de doble codificador identifica los nodos ruidosos utilizando dos mecanismos:
  1. Basado en Pérdida: Selecciona nodos con pérdidas de entrenamiento pequeñas (asumiendo que las etiquetas limpias se aprenden primero).
  2. Basado en Homofilia: Utiliza un mecanismo de votación de vecindad para detectar nodos cuyas etiquetas contradicen el consenso de sus vecinos.
     Los nodos se particionan en subconjuntos limpios ($V_c$) y ruidosos ($V_n$) basados en la intersección de estos dos criterios.
• Poda de Aristas (Edge Pruning): Para suprimir la propagación de ruido, las aristas conectadas a los nodos identificados como ruidosos se podan dinámicamente. Esta decisión se basa en una puntuación de riesgo de ruido que combina la incertidumbre predictiva y la inconsistencia estructural.

B. Corrección de Ruido Consciente de la Comunidad

En lugar de corregir etiquetas nodo por nodo, CG-GNN trata a las comunidades (detectadas mediante el algoritmo de Louvain) como la unidad fundamental para el refinamiento.

• Estrategia Guiada por Entropía: El marco calcula la entropía de la información de la distribución de etiquetas dentro de cada comunidad.
  • Entropía Baja (Alta Pureza): Las comunidades con etiquetas consistentes reciben un umbral de corrección más alto para preservar la información fiable.
  • Entropía Alta (Baja Pureza): Las comunidades con etiquetas heterogéneas reciben un umbral más bajo para facilitar la formación de representaciones semánticas consistentes.
• Corrección Adaptativa:
  • Para comunidades grandes ($N_{cm} \ge N_{min}$), se aplica una corrección basada en la comunidad: los nodos ruidosos se reetiquetan con la etiqueta de consenso mayoritaria de la comunidad si su similitud de representación con los nodos de consenso supera el umbral adaptativo.
  • Para comunidades pequeñas, se utiliza en su lugar una corrección basada en la vecindad para evitar la inestabilidad debida a la insuficiencia de datos.

C. Aprendizaje Contrastivo por Etapas

Para aprovechar la semántica de las etiquetas sin verse corrompido por el ruido, se emplea un esquema de aprendizaje contrastivo en dos etapas:

1. Etapa No Supervisada (Calentamiento/Warm-up): En las épocas iniciales de entrenamiento, el modelo realiza un aprendizaje contrastivo no supervisado. Alinea las representaciones del mismo nodo a través de dos vistas (generadas por codificadores independientes) sin utilizar etiquetas. Esto permite que el modelo aprenda estructuras topológicas robustas antes de la exposición a una supervisión potencialmente rosa.
2. Etapa Supervisada: Después del calentamiento, el modelo transiciona hacia un aprendizaje contrastivo semántico supervisado. Utiliza las etiquetas refinadas de alta confianza (provenientes del módulo de corrección de la comunidad) para construir pares positivos (misma clase) y pares negativos (clases diferentes), mejorando la compacidad intra-clase y la separabilidad inter-clase.

D. Objetivo Total

El modelo se entrena utilizando una función de pérdida multitarea:
$$L_{total} = \alpha \cdot L_{rec} + L_{pred} + \lambda \cdot L_{contrast}$$
Donde $L_{pred}$ es una pérdida de predicción ponderada que asigna pesos menores a los nodos ruidosos, $L_{rec}$ es la pérdida de reconstrucción de aristas, y $L_{contrast}$ combina las pérdidas de contraste no supervisado y supervisado.

3. Contribuciones Clave

1. Gobernanza de Ruido a Nivel de Comunidad: El artículo introduce un método que eleva el manejo del ruido de etiquetas del nivel de nodo al nivel de comunidad. Al aprovechar la consistencia estructural global, realiza una corrección de ruido diferenciada basada en la entropía y el tamaño de la comunidad.
2. Aprendizaje Contrastivo Progresivo: Se diseña un marco de aprendizaje por etapas para transicionar del aprendizaje estructural no supervisado al aprendizaje semántico supervisado. Esto mitiga la interrupción causada por las etiquetas ruidosas durante las etapas críticas de optimización temprana.
3. Supresión de Ruido Estructural: Se introduce un mecanismo de poda de aristas para suprimir activamente las rutas de propagación de ruido a nivel estructural, limitando la propagación de información errónea.
4. Validación Empírica: Experimentos extensos demuestran que el marco supera consistentemente a los métodos del estado del arte bajo diversas configuraciones de ruido.

4. Resultados Experimentales

Los autores evaluaron CG-GNN en cuatro conjuntos de datos de referencia: Cora, Citeseer, PubMed y Amazon Photo.

• Configuraciones de Ruido: Los experimentos se realizaron bajo Ruido Uniforme (cambio aleatorio de etiquetas) y Ruido de Par (cambio a clases semánticamente similares) con tasas de ruido de hasta el 40%.
• Líneas Base (Baselines): El método se comparó contra una GCN estándar y nueve líneas base robustas, incluyendo Co-teaching, GRACE, NRGNN, RTGNN, ERASE y GTA.
• Desempeño:
  • CG-GNN logró la mejor o segunda mejor precisión de clasificación en todos los conjuntos de datos y configuraciones de ruido.
  • Demostró una estabilidad superior, particularmente en escenarios con altas tasas de ruido y datos etiquetados limitados (por ejemplo, una tasa de etiqueta del 1% en PubMed y Photo).
  • Los estudios de ablación confirmaron que eliminar cualquier componente (Aumento de Grafos/Poda, Corrección de Ruido o Aprendizaje Contrastivo) resultaba en una degradación significativa del desempeño.
  • La visualización (t-SNE) mostró que CG-GNN produce incrustaciones de nodos con estructuras de agrupamiento más claras y límites de clase más definidos en comparación con las líneas base, lo que indica una mejor preservación de la estructura semántica a pesar del ruido.

5. Significado y Reivindicaciones

El artículo afirma que CG-GNN aborda la brecha crítica en los métodos de GNN robustos existentes al incorporar información estructural global (vía comunidades) en lugar de depender únicamente de la homofilia local. El significado radica en su capacidad para:

• Mitigar la Propagación de Ruido: Al podar aristas y refinar etiquetas a nivel de comunidad, el marco detiene eficazmente la contaminación de todo el grafo por supervisión errónea.
• Estabilizar el Entrenamiento: La estrategia de aprendizaje contrastivo progresivo asegura que el modelo aprenda características topológicas robustas antes de intentar ajustarse a etiquetas semánticas, evitando el sobreajuste temprano al ruido.
• Generalizar: El marco exhibe una fuerte robustez a través de diversos escales de grafos y tipos de ruido, lo que lo hace adecuado para aplicaciones del mundo real donde las anotaciones de alta calidad son escasas y ruidosas.

Los autores concluyen que, aunque el método es efectivo, el trabajo futuro explorará la extensión del marco para manejar escenarios donde ocurran simultáneamente tanto el ruido de etiquetas como el ruido estructural.