GUT-IS: A Data-Driven Approach to Integrating Constructs and Their Relations in Information Systems

Resumo Técnico do GUT-IS: Uma Abordagem Baseada em Dados para Integrar Constructos e Suas Relações em Sistemas de Informação

Declaração do Problema
A modelagem de equações estruturais (SEM) é um método empírico dominante na pesquisa em Sistemas de Informação (SI), contudo, o campo enfrenta uma "falácia jingle-jangle de constructos", onde constructos conceitualmente similares são rotulados de forma diferente, ou rótulos idênticos são aplicados a conceitos distintos. Essa inconsistência impede o desenvolvimento cumulativo do conhecimento, complicando revisões de literatura e meta-análises. Embora existam ferramentas existentes para detectar identidade de constructos ou comparar constructos contra conjuntos estabelecidos, elas frequentemente dependem de cálculos de similaridade par a par sem integrar constructos e suas relações em um modelo unificado e globalmente coerente. Além disso, as abordagens atuais tratam tipicamente o agrupamento de constructos como uma decisão binária, falhando em abordar explicitamente o trade-off inerente entre pureza semântica (agrupar apenas constructos altamente similares) e parsimônia (minimizar o número de clusters).

Metodologia
Os autores propõem o GUT-IS, um pipeline baseado em dados projetado para integrar constructos semanticamente similares e reconciliar suas relações. A metodologia consiste em quatro etapas principais:

1. Enriquecimento de Dados via LLMs: Nomes e definições de constructos de repositórios de SI (especificamente DISKNET e um conjunto de dados de Larsen e Bong, 2016) são limpos e enriquecidos usando o LLM de código aberto llama-3.3-70b-instruct. Isso envolve expandir abreviações, corrigir ortografia, garantir concisão e gerar definições ausentes usando Geração Aumentada por Recuperação (RAG) onde contextos de texto completo estão disponíveis.
2. Projeção de Embedding Adaptada à Tarefa: Em vez de ajustar finamente modelos grandes (o que requer dados rotulados extensos), os autores aprendem uma camada de projeção leve. Nomes e definições de constructos são incorporados separadamente usando o modelo pré-treinado e5-mistral-7b-instruct. Esses embeddings são alimentados em uma única camada de rede neural linear treinada via uma função de perda contrastiva. O treinamento utiliza amostragem negativa difícil para otimizar o mapeamento de pares similares mais próximos de uma similaridade cosseno de 1 e pares dissimilares abaixo de uma margem $m$.
3. Agrupamento para Consistência Lógica: Para resolver inconsistências lógicas inerentes a grafos de similaridade par a par (por exemplo, A é similar a B, B a C, mas A não é similar a C), os autores aplicam agrupamento baseado em grafos. Três métodos são avaliados: Leiden, agrupamento espectral e agrupamento aglomerativo.
4. Seleção Baseada em Perda em um Contínuo: A inovação central é uma função de perda interpretável, $L_{balanced}$, que troca explicitamente parsimônia e pureza via um parâmetro de ponderação $\alpha$.
   • Perda de Parsimônia ($L_{parsimony}$): Definida como a razão entre o número de clusters e o número total de constructos.
   • Perda de Pureza: Duas versões são propostas: $L_{construct\_purity}$ (dissimilaridade média dentro dos clusters) e $L_{relation\_purity}$ (entropia de Shannon ponderada das relações entre clusters distintos).
   • A partição ótima para um equilíbrio escolhido é selecionada minimizando $L_{balanced} = (1-\alpha)L_{parsimony} + \alpha L_{purity}$.

Principais Resultados
A abordagem foi avaliada em dois conjuntos de dados: um conjunto de dados rotulado de 1.004 constructos de Larsen e Bong (2016) e o conjunto de dados DISKNET maior (5.290 constructos).

• Desempenho de Embedding: A abordagem proposta (projeção aprendida em nomes + definições) alcançou um ROC-AUC de 0,840, superando tanto os embeddings pré-treinados originais (aproximadamente 0,54) quanto métodos anteriores do estado da arte (Larsen e Bong, 2016: 0,814; Ludwig et al., 2020: 0,827). Os autores observam que, embora o ajuste fino de modelos em conjuntos de dados maiores (Larsen et al., 2024) possa produzir pontuações mais altas (0,93), a abordagem de projeção oferece uma alternativa competitiva com requisitos mínimos de dados rotulados.
• Eficácia do Agrupamento: Entre os métodos de agrupamento, o agrupamento aglomerativo demonstrou a maior concordância com a verdade fundamental (medida por Informação Mútua Ajustada e pontuação F1), particularmente em torno de $\alpha = 0,6$. Ele resolveu com sucesso inconsistências lógicas nas relações de similaridade sem degradar a qualidade geral.
• Trade-off Parsimônia-Pureza: Experimentos nos dados do DISKNET confirmaram que a função de perda navega efetivamente pelo contínuo. À medida que $\alpha$ aumenta (priorizando pureza), a perda de parsimônia aumenta de forma não linear, enquanto as perdas de pureza diminuem. Os autores observaram uma forte correlação entre as duas métricas de pureza, sugerindo que elas otimizam a pureza semântica de maneira amplamente consistente.

Significado e Alegações
O artigo posiciona o GUT-IS como um mecanismo para transformar a consolidação de constructos de uma etapa oculta e manual em uma decisão de design explícita e ajustável. Ao tornar o trade-off entre parsimônia e pureza explícito, a abordagem permite que pesquisadores analisem como os agrupamentos de constructos e suas relações evoluem sob diferentes prioridades.

Os autores afirmam que o GUT-IS fornece uma camada unificadora que pode alimentar o pré-processamento de meta-análises, o refinamento de ontologias e a síntese de conhecimento. Eles enfatizam que o método é portátil para outros domínios além dos SI. No entanto, os autores mantêm uma postura modesta quanto às limitações:

• A avaliação do enriquecimento baseado em RAG no DISKNET carece de verificação de verdade fundamental devido à estrutura do conjunto de dados.
• A exploração do contínuo parsimônia-pureza é atualmente quantitativa; uma perspectiva qualitativa está planejada para ferramentas futuras.
• Os rótulos de treinamento (clusters de Larsen e Bong, 2016) representam constructos "correspondentes" em vez de equivalências semânticas exatas, potencialmente introduzindo ruído nos rótulos.

O trabalho conclui delineando o desenvolvimento de uma ferramenta interativa para permitir que pesquisadores escolham livremente um equilíbrio entre parsimônia e pureza, visando facilitar revisões de literatura semi-automatizadas e síntese de conhecimento baseada em ontologias.