Resumo Técnico: GLiSE

Definição do Problema

A literatura cinzenta (ex: blogs, GitHub issues, discussões no Stack Overflow e documentação técnica) é crítica para a pesquisa em engenharia de software (ES), pois captura práticas industriais em evolução, falhas e normas comunitárias frequentemente ausentes em veículos acadêmicos. No entanto, a coleta e avaliação sistemática dessa literatura em escala permanecem difíceis devido a fontes heterogêneas, formatos inconsistentes, metadados esparsos e a falta de pipelines de busca padronizados e reproduzíveis. As abordagens existentes são predominantemente manuais ou dependem de scripts ad-hoc, o que limita a repetibilidade e a cobertura. Além disso, ferramentas de busca geral baseadas em IA (ex: chatbots) carecem da transparência, rastreabilidade, direcionamento de fonte e configurabilidade necessárias para uma síntese rigorosa baseada em evidências em ES.

Metodologia

O artigo apresenta o GLiSE, uma ferramenta impulsionada por prompts e aprendizado de máquina, projetada para a extração, filtragem e classificação automatizada de literatura cinzenta em engenharia de software. A ferramenta opera através de um fluxo de trabalho de três etapas:

1. Extração de Consulta (Query Extraction):

   • Entrada: Um prompt de texto livre descrevendo a intenção da pesquisa.
   • Processo: Um Modelo de Linguagem de Grande Escala (LLM), acessado via API da OpenAI, gera consultas específicas de plataforma baseadas no prompt e em restrições definidas pelo usuário (intervalo de tempo, linguagem, seleção de fonte).
   • Saída: Consultas estruturadas adaptadas para fontes específicas:
     • GitHub: Alvos em descrições de repositórios, READMEs e issues usando qualificadores nativos (ex: in:description, is:issue).
     • Stack Overflow: Gera consultas de título/corpo com restrições de tags e sinais (ex: respostas aceitas).
     • Google Search: Compõe expressões usando operadores site e filetype.
   • Reprodutibilidade: Todas as consultas geradas são exportáveis e importáveis.

2. Chamadas de API e Aquisição de Dados:

   • A ferramenta executa as consultas geradas contra APIs públicas das fontes selecionadas.
   • Ela lida com paginação, tentativas de reenvio (retries) e rastreamento de proveniência.
   • Metadados principais (URL, título, snippet) e dados específicos da fonte (ex: READMEs, meta descrições) são extraídos.
   • A detecção de quase-duplicatas é realizada com base em URLs, títulos e snippets.

3. Classificação de Relevância:

   • Embedding: Campos textuais (título, snippet, README) e a intenção de busca original são convertidos em embeddings vetoriais usando os modelos text-embedding-3-small ou text-embedding-3-large da OpenAI.
   • Engenharia de Atributos (Feature Engineering): O sistema computa atributos de similaridade semântica entre os embeddings dos itens e o embedding da intenção. Os atributos testados incluem Distância de Cosseno, Distância Euclidiana, Distância L1, diferenças absolutas elemento a elemento e produtos elemento a elemento.
   • Classificação: Um classificador de aprendizado de máquina (treinado por fonte e modelo de embedding) prevê a relevância de cada item.
   • Ranking: Os itens são classificados pela probabilidade de relevância prevista pelo classificador ou pelo escore de confiança.

Principais Contribuições

1. A Ferramenta GLiSE: Um sistema de ponta a ponta para busca, filtragem e extração de literatura cinzenta do GitHub, Stack Overflow e Google Search, projetado com configurações baseadas em parâmetros para total reprodutibilidade.
2. Dataset Curado: Um conjunto de dados rotulado manualmente de 1.137 resultados de busca pareados com suas intenções de busca, classificados como relevantes ou irrelevantes. Este dataset cobre quatro tipos de fontes: Repositórios GitHub, GitHub Issues, Stack Overflow e Busca Web.
3. Estudo de Usabilidade Empírica: Uma avaliação envolvendo cinco profissionais e pesquisadores de engenharia de software comparando a busca manual com a busca assistida pelo GLiSE.

Resultados

Desempenho do Modelo

Os autores conduziram um estudo exploratório para selecionar dimensões ideais de embedding (512, 1024, 1536), combinações de atributos e classificadores (Gaussian Naive Bayes, Logistic Regression, XGBoost, LinearSVC, Ridge).

• Melhores Desempenhos: A configuração ideal variou por fonte. Por exemplo, o GaussianNB com text-embedding-3-small e "todas as distâncias" alcançou os melhores resultados para GitHub Issues (Acurácia Balanceada: 0.72), enquanto o Ridge com text-embedding-3-large e "Diferença absoluta elemento a elemento" teve o melhor desempenho para Stack Overflow (Acurácia Balanceada: 0.76).
• Baseline de LLM: Um baseline baseado em LLM (gpt-4o) foi avaliado, mas rejeitado devido ao custo mais alto, velocidade menor e desempenho geralmente inferior em comparação aos classificadores especializados de ML.

Estudo de Usabilidade

Cinco participantes completaram duas tarefas de pesquisa (uma manual, uma usando GLiSE). Os resultados demonstraram ganhos significativos de eficiência:

• Tempo até o Primeiro Item Relevante (TTFR): Reduzido de 158 segundos (manual) para 96 segundos (GLiSE), uma redução de 39%.
• Itens para 10 (IT@10): Os participantes precisaram inspecionar uma média de 24,8 itens manualmente para encontrar 10 resultados relevantes, comparado a apenas 1 item com o GLiSE.
• Tempo Total de Triagem: Reduzido de 20,0 minutos para 2,5 minutos.
• Experiência do Usuário: O escore da Escala de Usabilidade do Sistema (SUS) para o GLiSE foi de 81.0, excedendo o limite de usabilidade "boa" (68) e aproximando-se de "excelente". A utilidade percebida e a intenção de reuso ambos média de 6.0/7.

Significância e Alegações

O artigo afirma que o GLiSE aborda a lacuna crítica na extração automatizada de literatura cinzenta ao fornecer um framework reprodutível, transparente e direcionado à fonte. Diferente de ferramentas de busca de IA geral, o GLiSE oferece:

• Controle: Controle direto do usuário sobre as configurações de busca e seleção de fontes.
• Rastreabilidade: Visibilidade total do processo de recuperação, incluindo as consultas geradas e a proveniência.
• Escalabilidade: A capacidade de lidar com grandes conjuntos de resultados e filtrá-los eficientemente usando modelos de ML leves em vez de inferência de LLM caros para cada item.

Os autores posicionam o GLiSE como um passo em direção a uma pesquisa de engenharia de software sistemática e baseada em evidências que pode efetivamente aproveitar a evidência de "tempo real" encontrada na literatura cinzenta industrial. Eles reconhecem limitações quanto à natureza subjetiva da relevância e ao tamanho pequeno do dataset, observando que o trabalho futuro se concentrará em expandir o dataset, integrar fontes adicionais e desenvolver mecanismos para estimar a confiabilidade dos itens recuperados.