GUT-IS: A Data-Driven Approach to Integrating Constructs and Their Relations in Information Systems

Resumen Técnico de GUT-IS: Un Enfoque Basado en Datos para la Integración de Constructos y sus Relaciones en Sistemas de Información

Planteamiento del Problema
El modelado de ecuaciones estructurales (SEM) es un método empírico dominante en la investigación de Sistemas de Información (SI), sin embargo, el campo enfrenta una "falacia jingle-jangle de constructos" donde constructos conceptualmente similares son etiquetados de manera diferente, o etiquetas idénticas se aplican a conceptos distintos. Esta inconsistencia obstaculiza el desarrollo acumulativo del conocimiento, complicando las revisiones de literatura y los meta-análisis. Si bien existen herramientas para detectar la identidad de constructos o comparar constructos frente a conjuntos establecidos, a menudo dependen de cálculos de similitud par a par sin integrar los constructos y sus relaciones en un modelo unificado y globalmente coherente. Además, los enfoques actuales suelen tratar la agrupación de constructos como una decisión binaria, fallando en abordar explícitamente el compromiso inherente entre pureza semántica (agrupar solo constructos altamente similares) y parsimonia (minimizar el número de clústeres).

Metodología
Los autores proponen GUT-IS, un pipeline basado en datos diseñado para integrar constructos semánticamente similares y reconciliar sus relaciones. La metodología consta de cuatro etapas principales:

1. Riqueza de Datos mediante LLMs: Los nombres y definiciones de constructos de repositorios de SI (específicamente DISKNET y un conjunto de datos de Larsen y Bong, 2016) se limpian y enriquecen utilizando el LLM de código abierto llama-3.3-70b-instruct. Esto implica expandir abreviaturas, corregir ortografía, asegurar concisión y generar definiciones faltantes utilizando Generación Aumentada por Recuperación (RAG) donde están disponibles contextos de texto completo.
2. Proyección de Incrustaciones Adaptada a la Tarea: En lugar de ajustar finamente modelos grandes (lo cual requiere datos etiquetados extensos), los autores aprenden una capa de proyección ligera. Los nombres y definiciones de los constructos se incrustan por separado utilizando el modelo preentrenado e5-mistral-7b-instruct. Estas incrustaciones se alimentan a una sola capa de red neuronal lineal entrenada mediante una función de pérdida contrastiva. El entrenamiento utiliza muestreo de negativos duros para optimizar el mapeo de pares similares más cerca de una similitud coseno de 1 y pares disímiles por debajo de un margen $m$.
3. Agrupamiento para Consistencia Lógica: Para resolver inconsistencias lógicas inherentes a los grafos de similitud par a par (por ejemplo, A es similar a B, B a C, pero A no es similar a C), los autores aplican agrupamiento basado en grafos. Se evalúan tres métodos: Leiden, agrupamiento espectral y agrupamiento aglomerativo.
4. Selección Basada en Pérdida en un Continuo: La innovación central es una función de pérdida interpretable, $L_{balanced}$, que intercambia explícitamente parsimonia y pureza mediante un parámetro de ponderación $\alpha$.
   • Pérdida de Parsimonia ($L_{parsimony}$): Definida como la relación entre el número de clústeres y el número total de constructos.
   • Pérdida de Pureza: Se proponen dos versiones: $L_{construct\_purity}$ (disimilitud promedio dentro de los clústeres) y $L_{relation\_purity}$ (entropía de Shannon ponderada de las relaciones entre clústeres distintos).
   • La partición óptima para un equilibrio elegido se selecciona minimizando $L_{balanced} = (1-\alpha)L_{parsimony} + \alpha L_{purity}$.

Resultados Clave
El enfoque se evaluó en dos conjuntos de datos: un conjunto de datos etiquetado de 1.004 constructos de Larsen y Bong (2016) y el conjunto de datos DISKNET más grande (5.290 constructos).

• Rendimiento de Incrustaciones: El enfoque propuesto (proyección aprendida sobre nombres + definiciones) logró un ROC-AUC de 0.840, superando tanto a las incrustaciones preentrenadas originales (aprox. 0.54) como a métodos anteriores del estado del arte (Larsen y Bong, 2016: 0.814; Ludwig et al., 2020: 0.827). Los autores señalan que, aunque el ajuste fino de modelos en conjuntos de datos más grandes (Larsen et al., 2024) puede producir puntuaciones más altas (0.93), el enfoque de proyección ofrece una alternativa competitiva con requisitos mínimos de datos etiquetados.
• Eficacia del Agrupamiento: Entre los métodos de agrupamiento, el agrupamiento aglomerativo demostró el mayor acuerdo con la verdad fundamental (medido por Información Mutua Ajustada y puntuación F1), particularmente alrededor de $\alpha = 0.6$. Resolvió con éxito inconsistencias lógicas en las relaciones de similitud sin degradar la calidad general.
• Compromiso Parsimonia-Pureza: Los experimentos en los datos de DISKNET confirmaron que la función de pérdida navega efectivamente por el continuo. A medida que $\alpha$ aumenta (priorizando la pureza), la pérdida de parsimonia aumenta de forma no lineal, mientras que las pérdidas de pureza disminuyen. Los autores observaron una fuerte correlación entre las dos métricas de pureza, lo que sugiere que optimizan la pureza semántica de manera ampliamente consistente.

Significado y Afirmaciones
El artículo posiciona a GUT-IS como un mecanismo para transformar la consolidación de constructos de un paso oculto y manual a una decisión de diseño explícita y ajustable. Al hacer explícito el compromiso entre parsimonia y pureza, el enfoque permite a los investigadores analizar cómo evolucionan las agrupaciones de constructos y sus relaciones bajo diferentes prioridades.

Los autores afirman que GUT-IS proporciona una capa unificadora que puede alimentar el preprocesamiento de meta-análisis, el refinamiento de ontologías y la síntesis de conocimiento. Enfatizan que el método es portable a otros dominios más allá de los SI. Sin embargo, los autores mantienen una postura modesta respecto a las limitaciones:

• La evaluación del enriquecimiento basado en RAG en DISKNET carece de verificación de verdad fundamental debido a la estructura del conjunto de datos.
• La exploración del continuo parsimonia-pureza es actualmente cuantitativa; una perspectiva cualitativa está planificada para futuras herramientas.
• Las etiquetas de entrenamiento (clústeres de Larsen y Bong, 2016) representan constructos "correspondientes" en lugar de equivalencias semánticas exactas, introduciendo potencialmente ruido en las etiquetas.

El trabajo concluye delineando el desarrollo de una herramienta interactiva para permitir a los investigadores elegir libremente un equilibrio entre parsimonia y pureza, con el objetivo de facilitar revisiones de literatura semi-automatizadas y síntesis de conocimiento basada en ontologías.