🤖 machine learning

Who Should Teach? Confidence-Aware Dual-Teacher Learning for Few-Shot Node Classification on Text-Attributed Graphs

Este artículo presenta CoTeach, un marco de aprendizaje de doble profesor consciente de la confianza que selecciona dinámicamente entre Redes Neuronales de Grafos y Modelos de Lenguaje de Gran Escala como la fuente de supervisión más fiable para cada nodo, mejorando así el rendimiento de la clasificación de nodos con pocos ejemplos en Grafos Atribuidos a Texto y reduciendo al mismo tiempo los costes innecesarios de los LLM.

Autores originales: Hojin Kim, Sujin Yoon, Sungsu Lim, Dongwon Lee, David Yoon Suk Kang

Publicado 2026-08-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hojin Kim, Sujin Yoon, Sungsu Lim, Dongwon Lee, David Yoon Suk Kang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo digital, gran parte de nuestra información no se organiza solo como listas de hechos, sino como complejas redes de conexiones. Piense en una red social donde las personas están vinculadas por amistades, o en una biblioteca donde los libros están conectados por los temas que tratan. En la informática, estas estructuras se denominan grafos. Cuando los elementos en estas redes también portan descripciones escritas —como la biografía del perfil de un usuario o el resumen de un libro—, se convierten en lo que los investigadores llaman grafos con atributos de texto. Durante décadas, los científicos han intentado enseñar a las computadoras a comprender estas redes, con la esperanza de predecir cosas como qué podría comprar un usuario a continuación o qué artículo de investigación es más relevante. El desafío siempre ha sido cómo combinar la forma de la red con el significado de las palabras. Recientemente, ha surgido un nuevo tipo de programa informático potente, conocido como modelo de lenguaje de gran tamaño, que es increíblemente bueno leyendo y comprendiendo texto, lo que ha llevado a muchos investigadores a creer que podrían resolver estos problemas de grafos por sí solos. Sin embargo, confiar únicamente en estos potentes lectores de texto ha resultado costoso y, a veces, poco fiable, ya que pueden cometer errores como cualquier otro lector.

Un equipo de investigadores de Corea del Sur y Estados Unidos ha propido una forma diferente de abordar este problema, una que plantea una pregunta simple pero crucial: ¿quién debería ser el maestro para cada parte específica de la red? Su trabajo, titulado "¿Quién debería enseñar?", sugiere que no todos los nodos de un grafo necesitan el mismo tipo de ayuda. En su sistema, un "nodo" es simplemente un elemento individual en la red, como una persona o un documento. Los investigadores descubrieron que algunos nodos se entienden mejor observando a sus vecinos y la estructura de la red, mientras que otros se entienden mejor leyendo sus descripciones de texto. Para probar esto, construyeron un marco de trabajo llamado CoTeach, que actúa como un gestor inteligente para dos tipos diferentes de "maestros". Un maestro es una red neuronal de grafos, un sistema diseñado para aprender de las conexiones y la estructura de la red. El otro es un modelo de lenguaje de gran tamaño, diseñado para aprender del texto escrito. En lugar de obligar al modelo de lenguaje a analizar cada uno de los elementos, CoTeach primero deja que el maestro de grafos eche un vistazo. Si el maestro de grafos está muy seguro de lo que es un nodo, él se encarga del trabajo. Si el maestro de grafos no está seguro, el sistema convoca entonces al modelo de lenguaje para que proporcione una segunda opinión basada en el texto.

Los investigadores probaron este enfoque en cuatro conjuntos de datos del mundo real, incluyendo colecciones de artículos académicos y artículos web, en situaciones en las que había muy pocos ejemplos disponibles para aprender. Descubrieron que este sistema de doble maestro superó consistentemente a los métodos que dependían de un solo tipo de maestro o que intentaban usar el modelo de lenguaje para todo. Al dejar que el maestro de grafos se encargue de los casos fáciles y solo llamar al costoso modelo de lenguaje cuando es necesario, el sistema no solo se volvió más preciso, sino que también resultó significativamente más barato de ejecutar. De hecho, el nuevo método utilizó hasta 67 veces menos recursos computacionales que algunos enfoques existentes que dependían fuertemente del modelo de lenguaje. El estudio demuestra que la forma más eficaz de enseñar a una computadora sobre estas redes complejas no es utilizar una herramienta única y todopoderosa, sino alternar inteligentemente entre diferentes herramientas dependiendo de lo que requiera el problema específico. Esta estrategia adaptativa permite que las computadoras aprendan de manera más efectiva con datos limitados, evitando al mismo tiempo los altos costos y los posibles errores de depender excesivamente de los potentes modelos de procesamiento de texto.

Resumen Técnico: CoTeach para la Clasificación de Nodos de Pocos Disparos en Grafos Atribuidos a Texto

Planteamiento del Problema

Los Grafos Atribuidos a Texto (TAGs, por sus siglas en inglés) combinan la topología de un grafo con atributos textuales asociados a los nodos, lo que presenta el desafío de fusionar eficazmente la información estructural y semántica para tareas de seguimiento como la clasificación de nodos. Si bien enfoques recientes aprovechan los Modelos de Lenguaje de Gran Escala (LLMs) para mejorar el aprendizaje de TAGs en entornos de pocos disparos (few-shot), los métodos existentes suelen aplicar la supervisión derivada de los LLMs de manera uniforme en todos los nodos. Este enfoque ignora las variaciones sustanciales en la fiabilidad de los resultados de los LLMs; para algunos nodos, la guía del LLM es altamente informativa, mientras que para otros, puede introducir ruido o errores. Además, consultar a los LLMs de manera uniforme incurre en costos monetarios significativos.

El problema central abordado es la falta de adaptabilidad en las fuentes de supervisión. Las Redes Neuronales de Grafos (GNNs) sobresalen en la explotación de señales estructurales, mientras que los LLMs sobresalen en el razonamiento semántico. El artículo postula que la fuente óptima de supervisión puede diferir para cada nodo, planteando la pregunta: "¿Quién debe enseñar a cada nodo?".

Metodología: Marco de Trabajo CoTeach

Los autores proponen CoTeach, un marco de aprendizaje de doble profesor sensible a la confianza diseñado para seleccionar dinámicamente al profesor más fiable para cada nodo en un entorno de pocos disparos. El marco consta de tres componentes principales:

Profesor GNN (Sensible a la Estructura):
- Utiliza un enfoque autosupervisado (Deep Graph Infomax) seguido de un clasificador para generar predicciones basadas en la topología del grafo.
- Produce una etiqueta pseudo (pseudo-label) y un puntaje de confianza (probabilidad de predicción) para cada nodo.
- Los nodos se particionan en dos conjuntos basados en un umbral de confianza $\gamma_g$ $γ_{g}$ :
  - $V_{GNN}$ : Nodos de alta confianza donde la información estructural se considera suficiente.
  - $V_R$ : Nodos de baja confianza donde la información estructural por sí sola es insuficiente.
Profesor LLM (Sensible a la Semántica):
- Se enfoca exclusivamente en los nodos inciertos en $V_R$ .
- Para mitigar los costos, emplea una estrategia de selección de nodos semilla (agrupamiento de representaciones de nodos y selección de centroides) para consultar un subconjunto representativo de nodos en lugar de todos los nodos en $V_R$ .
- Para los nodos seleccionados, el LLM recibe prompts que contienen el texto del nodo y descripciones de etiquetas candidatas para generar distribuciones de probabilidad.
- Solo se retienen las predicciones que superan un segundo umbral de confianza $\gamma_l$ como etiquetas pseudo fiables, formando el conjunto $V_{LLM}$ .
Modelo Estudiante:
- Un modelo basado en GNN entrenado para aprender de las etiquetas pseudo sensibles a la confianza proporcionadas por ambos profesores.
- Los nodos en $V_{GNN}$ son supervisados por los resultados del profesor GNN, mientras que los nodos en $V_{LLM}$ son supervisados por los resultados del profesor LLM.
- El objetivo de entrenamiento combina la pérdida de Entropía Cruzada (para etiquetas pseudo duras) y la pérdida de Destilación de Conocimiento (para distribuciones de probabilidad suaves) de ambos profesores, ponderada por un hiperparámetro $\alpha$ .

Contribuciones Clave

Nueva Perspectiva: El artículo introduce una perspectiva de supervisión adaptativa que reconoce las variaciones a nivel de nodo en la fiabilidad de la supervisión derivada de los LLMs, argumentando que una aplicación uniforme es suboptimal.
Marco Novedoso: Se propone CoTeach como un marco de doble profesor sensible a la confianza que selecciona adaptativamente entre un profesor GNN y un profesor LLM basándose en la confianza de la predicción, asegurando que la señal más fiable guíe a cada nodo.
Evaluación Exhaustiva: El marco se evalúa en cuatro conjuntos de datos de TAG del mundo real (Cora, Citeseer, Pubmed, WikiCS), demostrando efectividad en la mejora de la clasificación de nodos de pocos disparos al tiempo que reduce la utilización innecesaria de LLMs.

Resultados Experimentales

La evaluación compara CoTeach contra 10 métodos competidores, incluyendo GNNs de base (GCN, GAT, GraphSAGE), Modelos de Lenguaje Preentrenados (BERT, BART, SBERT) y enfoques existentes de GNN+LLM (LLMGNN, TAPE, LLM4NG).

Rendimiento (EQ1 y EQ2): CoTeach logra consistentemente el mejor rendimiento general en la mayoría de los entornos de pocos disparos ( $k \in \{3, 5, 7, 10\}$ ). El estudio de ablación confirma que la combinación de ambos profesores produce resultados superiores en comparación con el uso de cualquiera de ellos por separado o sin un profesor. Específicamente, las variantes de CoTeach alcanzaron un rango promedio (AR) de 1.6, superando sustancialmente a los modelos de referencia (baselines). Se observaron mejoras notables en los entornos desafiantes de 3 disparos, con mejoras de hasta un 6.9% sobre el modelo de referencia más fuerte en el conjunto de datos Cora.
Eficiencia de Costos (EQ3): CoTeach demuestra una eficiencia de costos significativa. Reduce el consumo de tokens de LLM hasta en 67.6× en comparación con TAPE y 8.3× en comparación con LLMGNN, manteniendo una precisión superior.
Robustez (EQ4): El análisis de sensibilidad indica que CoTeach es generalmente robusto a la elección de hiperparámetros, funcionando mejor con umbrales de confianza moderados y una cobertura suficiente de nodos semilla.

Significado y Reivindicaciones

El artículo afirma que CoTeach proporciona un mecanismo simple pero efectivo para la supervisión adaptativa en el aprendizaje de TAG de pocos disparos. Al reconocer que las GNNs y los LLMs poseen fortalezas complementarias, el marco evita los inconvenientes de la aplicación uniforme de LLMs. El significado principal radica en su capacidad para mejorar el rendimiento de la clasificación y, simultáneamente, reducir los costos monetarios asociados con la inferencia de LLMs comerciales. Los autores posicionan este trabajo como un paso hacia una integración más eficiente y fiable de los LLMs en el aprendizaje de grafos, abordando específicamente la variabilidad en la calidad de la supervisión entre diferentes nodos. Se señala que el trabajo futuro podría extender este marco a escenarios de aprendizaje a nivel de arista y a nivel de grafo.