SLRMentor: An LLM-Based Tool Supporting Learning of SLR in Software Engineering

Resumo Técnico: SLRMentor

Problema
A condução de Revisões Sistemáticas da Literatura (RSLs) é uma atividade fundamental na Engenharia de Software Baseada em Evidências (ESBE), mas apresenta desafios significativos para pesquisadores novatos. A fase de planejamento — especificamente a formulação de questões de pesquisa, a construção de strings de busca e a definição de critérios de inclusão/exclusão — é identificada como crítica para a qualidade da revisão, mas é frequentemente demorada e propensa a erros devido às variações de terminologia e à complexidade da sintaxe de bases de dados. Embora ferramentas baseadas em IA tenham sido exploradas para melhorar a eficiência na seleção de estudos e sugestão de palavras-chave, elas carecem de suporte para o entendimento metodológico e o aprendizado do próprio processo de RSL. As abordagens educacionais atuais têm dificuldade em tornar explícito o raciocínio metodológico subjacente, levando frequentemente os estudantes a focar na produção de artefatos em vez de se engajarem com a lógica de tomada de decisão necessária para revisões rigorosas.

Metodologia
Este estudo utiliza o método de pesquisa de Design Science para desenvolver e avaliar um artefato de software chamado SLRMentor. A ferramenta é um assistente conversacional construído sobre Grandes Modelos de Linguagem (LLMs) (especificamente OpenAI e Google Gemini) projetado para apoiar as atividades de planejamento de RSLs.

• Arquitetura e Mecanismo: O SLRMentor utiliza Geração Aumentada por Recuperação (RAG) para fundamentar suas respostas em diretrizes de RSL curadas e documentação metodológica (ex: [10, 12, 14]). Essa escolha de design garante que os outputs gerados sejam consistentes com práticas estabelecidas e melhora a transparência, evitando que o modelo dependa apenas de geração sem contexto.
• Componentes Funcionais: A ferramenta é estruturada em torno de três módulos conversacionais orientados ao aprendizado:
  1. Mentor Chat: Fornece orientação geral sobre estágios de RSL, princípios metodológicos e fontes de viés para apoiar a compreensão conceitual.
  2. Search String Chat: Auxilia na tradução de objetivos de pesquisa em strings de busca estruturadas, explicando a seleção de palavras-chave, sinônimos e operadores booleanos.
  3. Criteria Chat: Apoia a derivação de critérios de inclusão e exclusão a partir dos objetivos do estudo, explicando como esses critérios operacionalizam o escopo e a relevância.
• Validação: Uma validação piloto foi conduzida em uma disciplina de pós-graduação em engenharia de software envolvendo oito estudantes (quatro de doutorado, quatro de mestrado), todos sendo revisores novatos. Quatro participantes utilizaram a ferramenta voluntariamente após completarem suas tarefas manuais da disciplina. A avaliação foi exploratória e formativa, utilizando um questionário estruturado com itens de escala Likert e perguntas abertas para avaliar clareza, consistência com práticas conhecidas e percepção de suporte para aprendizagem e reflexão.

Principais Contribuições
A principal contribuição deste trabalho é o próprio artefato SLRMentor, uma interface conversacional projetada não para automatizar tarefas de revisão, mas para atuar como um andaime (scaffold) para o aprendizado do raciocínio metodológico. As principais características técnicas incluem:

• Explicações Fundamentadas em Diretrizes: Diferente de chatbots genéricos, o SLRMentor vincula explicitamente seu raciocínio a diretrizes de RSL estabelecidas via RAG, garantindo que o conteúdo educacional esteja alinhado aos padrões de ESBE.
• Suporte ao Refinamento Iterativo: O sistema permite que os usuários revisem objetivos e artefatos através de múltiplas interações, espelhando a natureza iterativa do desenvolvimento de protocolos na prática.
• Foco no Raciocínio sobre a Automação: A ferramenta é projetada para fornecer explicações de "por que" e "como" para decisões de planejamento (ex: por que um termo específico é incluído em uma string de busca) em vez de simplesmente entregar um artefato final não examinado.

Resultados
A validação piloto gerou insights qualitativos e quantitativos de quatro participantes:

• Percepção como Ferramenta de Aprendizado: Os participantes visualizaram consistentemente o SLRMentor como um "suporte orientado ao aprendizado" em vez de uma ferramenta para produzir artefatos definitivos. Foi descrito como um "andaime amigável para iniciantes" que ajudou a estruturar tarefas complexas de planejamento.
• Clareza e Alinhamento: O Mentor Chat recebeu notas altas por clareza e alinhamento com práticas estabelecidas. Os participantes notaram que ele ajudou a "analisar requisitos complicados de revisão sistemática da literatura".
• Construção de Strings de Busca: O Search String Chat foi elogiado por ser educativo em vez de prescritivo. Os participantes sentiram que ele explicou efetivamente o raciocínio por trás da seleção de termos e operadores, embora tenham reconhecido a necessidade de maior refinamento por parte do estudante.
• Definição de Critérios: Os resultados para o Criteria Chat foram mais mistos. Enquanto alguns participantes o acharam útil para ilustrar categorias comuns e derivar critérios iniciais, outros notaram variabilidade na comparabilidade entre os critérios gerados pela ferramenta e seus equivalentes definidos manualmente.
• Necessidade de Julgamento Ativo: Um tema recorrente foi que a ferramenta apoia o aprendizado, mas não substitui a necessidade de julgamento metodológico ativo. Os participantes enfatizaram que a ferramenta auxilia na compreensão e reflexão, mas exige que o pesquisador tome as decisões finais.

Significância e Alegações
O artigo alega que o SLRMentor aborda uma lacuna nas ferramentas educacionais atuais ao incorporar assistência conversacional e fundamentada em diretrizes diretamente nas atividades de planejamento de RSL. Sua significância reside em:

1. Redução de Barreiras: Reduz as barreiras iniciais para pesquisadores novatos ao fornecer explicações sob demanda e orientação estruturada, tornando o processo de RSL mais acessível.
2. Raciocínio Explícito: Torna o raciocínio metodológico explícito, permitindo que os alunos comparem a orientação gerada pela ferramenta com suas próprias decisões, promovendo assim a reflexão crítica.
3. Papel Complementar: Os autores posicionam modestamente a ferramenta como um complemento, e não um substituto, para abordagens de ensino estabelecidas e supervisão humana. Ela é projetada para reforçar conceitos metodológicos e estruturar a prática, mantendo a necessidade da responsabilidade do pesquisador.

Os autores concluem que, embora o piloto sugira que a ferramenta é eficaz para aprendizagem e reflexão, estudos empíricos de maior escala são necessários para avaliar os resultados de aprendizagem a longo prazo e a transferibilidade para diversas populações de estudantes. O trabalho futuro visa expandir o corpus de recuperação e estender o suporte para estágios posteriores da RSL, como seleção de estudos e síntese de dados.