SLRMentor: An LLM-Based Tool Supporting Learning of SLR in Software Engineering

Resumen Técnico: SLRMentor

Planteamiento del Problema
La realización de Revisiones Sistemáticas de la Literatura (SLR, por sus siglas en inglés) es una actividad fundamental en la Ingeniería de Software Basada en Evidencia (EBSE), sin embargo, presenta desafíos significativos para los investigadores noveles. La fase de planificación —específicamente la formulación de preguntas de investigación, la construcción de cadenas de búsqueda y la definición de criterios de inclusión/exclusión— se identifica como crítica para la calidad de la revisión, pero suele ser laboriosa y propensa a errores debido a las variaciones terminológicas y a la compleja sintaxis de las bases de datos. Aunque se han explorado herramientas basadas en IA para mejorar la eficiencia en la selección de estudios y la sugerencia de palabras clave, estas suelen carecer de soporte para la comprensión metodológica y el aprendizaje del proceso de SLR en sí mismo. Los enfoques educativos actuales tienen dificultades para hacer explícito el razonamiento metodológico subyacente, lo que a menudo lleva a los estudiantes a centrarse en producir artefactos en lugar de comprometerse con la lógica de toma de decisiones requerida para revisiones rigurosas.

Metodología
Este estudio emplea el método de investigación de Ciencia del Diseño para desarrollar y evaluar un artefacto de software llamado SLRMentor. La herramienta es un asistente conversacional construido sobre Modelos de Lenguaje de Gran Escala (LLMs) (específicamente OpenAI y Google Gemini) diseñado para apoyar las actividades de planificación de las SLR.

• Arquitectura y Mecanismo: SLRMentor utiliza Generación Aumentada por Recuperación (RAG) para fundamentar sus respuestas en guías de SLR curadas y documentación metodológica (por ejemplo, [10, 12, 14]). Esta elección de diseño asegura que los resultados generados sean consistentes con las prácticas establecidas y mejora la transparencia, evitando que el modelo dependa únicamente de una generación sin contexto.
• Componentes Funcionales: La herramienta está estructurada en torno a tres módulos conversacionales orientados al aprendizaje:
  1. Mentor Chat: Proporciona orientación general sobre las etapas de la SLR, principios metodológicos y fuentes de sesgo para apoyar la comprensión conceptual.
  2. Search String Chat: Asiste en la traducción de los objetivos de investigación en cadenas de búsqueda estructuradas, explicando la selección de palabras clave, sinónimos y operadores booleanos.
  3. Criteria Chat: Apoya la derivación de criterios de inclusión y exclusión a partir de los objetivos del estudio, explicando cómo estos criterios operacionalizan el alcance y la relevancia.
• Validación: Se llevó a cabo una validación piloto en un curso de posgrado de ingeniería de software con ocho estudiantes (cuatro de doctorado, cuatro de maestría), todos ellos revisores noveles. Cuatro participantes interactuaron voluntariamente con la herramienta tras completar sus tareas manuales del curso. La evaluación fue exploratoria y formativa, utilizando un cuestionario estructurado con ítems de escala de Likert y preguntas abiertas para evaluar la claridad, la consistencia con las prácticas conocidas y el apoyo percibido para el aprendizaje y la reflexión.

Contribuciones Clave
La contribución principal de este trabajo es el propio artefacto SLRMentor, una interfaz conversacional diseñada no para automatizar las tareas de revisión, sino para actuar como un andamiaje para el aprendizaje del razonamiento metodológico. Las características técnicas clave incluyen:

• Explicaciones Fundamentadas en Guías: A diferencia de los chatbots genéricos, SLRMentor vincula explícitamente su razonamiento con guías de SLR establecidas mediante RAG, asegurando que el contenido educativo se alinee con los estándares de EBSE.
• Soporte para la Refinación Iterativa: El sistema permite revisar objetivos y artefactos a través de múltiples interacciones, reflejando la naturaleza iterativa del desarrollo de protocolos en la práctica.
• Enfoque en el Razonamiento sobre la Automatización: La herramienta está diseñada para proporcionar explicaciones de "por qué" y "cómo" para las decisiones de planificación (por ejemplo, por qué se incluye un término específico en una cadena de búsqueda) en lugar de simplemente producir un artefacto final no examinado.

Resultos
La validación piloto arrojó información cualitativa y cuantitativa de cuatro participantes:

• Percepción como Herramienta de Aprendizaje: Los participantes vieron consistentemente a SLRMentor como un "soporte orientado al aprendizaje" en lugar de una herramienta para producir artefactos definitivos. Fue descrito como un "andamiaje amigable para principiantes" que ayudó a estructurar tareas de planificación complejas.
• Claridad y Alineación: El Mentor Chat recibió puntuaciones altas por su claridad y alineación con las prácticas establecidas. Los participantes señalaron que ayudó a "analizar los complicados requisitos de una revisión sistemática de la literatura".
• Construcción de Cadenas de Búsqueda: El Search String Chat fue elogiado por ser educativo en lugar de prescriptivo. Los participantes sintieron que explicaba eficazmente el razonamiento detrás de la selección de términos y operadores, aunque reconocieron la necesidad de un mayor refinamiento por parte del estudiante.
• Definición de Criterios: Los resultados para el Criteria Chat fueron más mixtos. Mientras que algunos participantes lo encontraron útil para ilustrar categorías comunes y derivar criterios iniciales, otros notaron variabilidad en la comparabilidad entre los criterios generados por la herramienta y sus contrapartes definidas manualmente.
• Se Requiere Juicio Activo: Un tema recurrente fue que la herramienta apoya el aprendizaje pero no reemplaza la necesidad de un juicio metodológico activo. Los participantes enfatizaron que la herramienta ayuda en la comprensión y la reflexión, pero requiere que el investigador tome las decisiones finales.

Significancia y Reivindicaciones
El artículo afirma que SLRMentor aborda una brecha en las herramientas educativas actuales al integrar la asistencia conversacional y fundamentada en guías directamente en las actividades de planificación de la SLR. Su significancia radica en:

1. Reducción de Barreras: Reduce las barreras iniciales para los investigadores noveles al proporcionar explicaciones bajo demanda y orientación estructurada, haciendo que el proceso de SLR sea más accesible.
2. Razonamiento Explícito: Hace que el razonamiento metodológico sea explícito, permitiendo a los estudiantes comparar la guía generada por la herramienta con sus propias decisiones, fomentando así la reflexión crítica.
3. Rol Complementario: Los autores posicionan modestamente la herramienta como un complemento, no como un sustituto, de los enfoques de enseñanza establecidos y la supervisión humana. Está diseñada para reforzar los conceptos metodológicos y estructurar la práctica, manteniendo la necesidad de la responsabilidad del investigador.

Los autores concluyen que, si bien el piloto sugiere que la herramienta es efectiva para el aprendizaje y la reflexión, se requieren estudios empíricos a mayor escala para evaluar los resultados de aprendizaje a largo plazo y la transferibilidad a diversas poblaciones de estudiantes. El trabajo futuro pretende expandir el corpus de recuperación y extender el soporte a etapas posteriores de la SLR, como la selección de estudios y la síntesis de datos.