When Metrics Disagree: A Meta-Analysis of Knowledge-Graph-Completion Model Benchmarking

Resumen Técnico: Cuando las métricas discrepan: Un meta-análisis del benchmarking de modelos de completitud de grafos de conocimiento

1. Planteamiento del problema

La evaluación de los modelos de Completitud de Grafos de Conocimiento (KGC, por sus siglas en inglés) está actualmente fragmentada. La evaluación estándar se basa en métricas aisladas basadas en el ranking —Mean Reciprocal Rank (MRR), Hits@k y Mean Rank (MR)— que a menudo producen ordenamientos de modelos conflictivos entre diferentes conjuntos de datos y tareas. Un modelo puede liderar en MRR pero rezagarse en Hits@1, o desempeñarse fuertemente en un conjunto de datos (p. ej., FB15k-237) mientras falla al generalizar a otro (p. ej., WN18RR). Esta fragmentación complica las comparaciones, fomenta la notificación selectiva de métricas y oscurece el progreso genuino en el campo. Si bien trabajos previos han abordado problemas específicos como el sesgo de implementación o el sesgo de popularidad, ningún marco existente evalúa sistemáticamente cómo agregar múltiples métricas, a menudo conflictivas, en un único ranking confiable.

2. Metodología

Los autores replantean la evaluación de KGC como un problema de Toma de Decisiones Multicriterio (MCDM). La metodología central involucra un proceso de dos etapas:

Etapa 1: Evaluación del agregador mediante meta-análisis
El estudio evalúa siete agregadores de MCDM —EDAS, TOPSIS, VIKOR, MOORA, WASPAS, Borda Count y Z-score— a través de siete familias de modelos KGC (traslacionales, de coincidencia semántica, de redes neuronales CNN y basadas en GNN) y seis conjuntos de datos de referencia. Para asegurar la robustez, la evaluación se realiza bajo tres patrones de eliminación:

• Full-Set (Conjunto completo): Todos los modelos incluidos.
• LOMO (Leave-One-Model-Out / Dejar un modelo fuera): Eliminación iterativa de modelos individuales.
• LOGO (Leave-One-Group-Out / Dejar un grupo fuera): Eliminación iterativa de familias arquitectónicas completas.

Cada agregador es evaluado frente a cinco dimensiones distintas de fiabilidad:

1. Consistencia: Alineación con los rankings inducidos por las métricas base (medida mediante Kendall's $\tau$, Pearson's $r$ y Spearman's $\rho$).
2. Estabilidad: Varianza del ranking entre conjuntos de datos (una menor varianza indica mayor estabilidad).
3. Independencia de la métrica: Sensibilidad a la eliminación de familias de métricas específicas (Leave-One-Metric-Out).
4. Robustez: Resiliencia a la incertidumbre de la medición, probada mediante la inyección de ruido (5%–30%) en los valores de las métricas a lo largo de 1,000 iteraciones de Monte Carlo.
5. Generalizabilidad: Precisión predictiva en benchmarks no vistos (Leave-One-Dataset-Out).

Etapa 2: Selección de Pareto-Óptima
Dado que ningún agregador único domina en las cinco dimensiones, los autores tratan la selección del agregador como un problema de optimización multiobjetivo. Identifican la frontera de Pareto de los agregadores no dominados y seleccionan el más equilibrado (el más cercano al punto ideal) para generar los rankings de consenso finales para los modelos KGC.

3. Contribuciones clave

1. Primer meta-análisis integral de MCDM en KGC: El estudio evalúa siete agregadores a través de más de 2.2 millones de triples, cubriendo dos tareas de predicción: predicción de cola $(h, r, ?)$ y predicción de relación $(h, ?, t)$.
2. Marco de evaluación de cinco dimensiones: Un marco novedoso para evaluar agregadores basados en consistencia, estabilidad, independencia, robustez y generalizabilidad.
3. Análisis de robustez basado en la eliminación: A diferencia de estudios previos que dependen de conjuntos de modelos fijos, este trabajo promedia las puntuaciones de prueba sobre las eliminaciones LOMO y LOGO para asegurar que las puntuaciones de fiabilidad reflejen el comportamiento a través de diversos subconjuntos de modelos.
4. Selección de agregador basada en Pareto: Un método para seleccionar el agregador más equilibrado sin privilegiar ningún criterio de fiabilidad individual.
5. Análisis de sensibilidad de la prueba: Una cuantificación de cuánto cambia cada prueba de meta-evaluación cuando se eliminan modelos o familias arquitectónicas individuales, revelando que la consistencia y la estabilidad son mayormente invariantes a la eliminación, mientras que la generalizabilidad y la independencia son más sensibles.

4. Resultados

El estudio se llevó a cabo en dos tareas: Predicción de Cola (Tail Prediction) y Predicción de Relación (Relation Prediction).

• Desempeño de los agregadores:

  • Z-score surgió como el agregador más equilibrado en ambas tareas, logrando la puntuación Pareto-óptima general más alta. Demostró un fuerte desempeño en consistencia, estabilidad y generalizabilidad.
  • MOORA y EDAS también tuvieron un buen desempeño, particularmente en consistencia y estabilidad.
  • VIKOR se desempeñó consistentemente por debajo de los demás, mostrando una alta sensibilidad al ruido, la eliminación de métricas y los cambios de dataset, probablemente debido a su dependencia de puntos de referencia dinámicos (valores mejores/peores) que varían significativamente entre datasets.
  • Se encontró que la Consistencia y la Estabilidad son las dimensiones más robustas (menos sensibles a la eliminación de modelos), mientras que la Generalizabilidad y la Independencia son las más sensibles.

• Modelos KGC de alto rendimiento:
  Utilizando el agregador Z-score seleccionado por Pareto:

  • Predicción de Cola: DualE fue identificado como el método de mejor desempeño, seguido de HakE y ComplEx.
  • Predicción de Relación: FMS (Flow-Modulated Scoring) fue identificado como el método de mejor desempeño, seguido de PathCon y Con.

• Hallazgos de sensibilidad:
  El análisis reveló que eliminar familias arquitectónicas completas (LOGO) tuvo un impacto sustancialmente mayor en las puntuaciones de prueba que eliminar modelos individuales (LOMO). Esto sugiere que las familias arquitectónicas aportan firmas de desempeño distintivas que son críticas para las pruebas de generalizabilidad.

5. Significado y Reivindicaciones

El artículo sostiene que su contribución principal no es el reemplazo de las métricas estándar de KGC, sino la introducción de un procedimiento fundamentado para decidir cuándo y cómo agregarlas. Al formalizar la evaluación de KGC como un problema de MCDM y cuantificar explícitamente los compromisos (trade-offs) de los agregadores a través de dimensiones ortogonales, el marco:

• Resuelve las inconsistencias de evaluación causadas por métricas conflictivas.
• Proporciona orientación basada en evidencia para la selección de agregadores (recomendando específicamente Z-score para una evaluación equilibrada).
• Reduce la posibilidad de la notificación selectiva de métricas.
• Ofrece un enfoque reproducible y basado en el consenso para el benchmarking de modelos que mejora la interpretabilidad de los rankings unificados.

Los autores mantienen una postura modesta, señalando que no existe un "almuerzo gratis" donde un agregador sea uniformemente superior en todas las dimensiones, y que el trabajo futuro podría extender el análisis para incluir estrategias de ponderación alternativas, incertidumbre a nivel de semilla y modelos de razonamiento basados en LLM.