Resumen Técnico: Aprender a Programar con Contexto: Un Enfoque Basado en el Estudio

Declaración del Problema

La rápida emergencia de las herramientas de IA generativa está transformando el desarrollo de software, lo que requiere una adaptación en la educación de la ingeniería de software. Mientras que los estudiantes utilizan frecuentemente herramientas de IA de propósito general (por ejemplo, ChatGPT, GitHub Copil Copilot), a menudo encuentran limitaciones significativas al aplicar estas herramientas a proyectos de software estructurados y basados en equipos. Específicamente, los modelos de propósito general carecen de conciencia sobre el contexto específico del proyecto, incluyendo el código fuente propietario, la documentación del proyecto y marcos de trabajo específicos del dominio (por ejemplo, jMonkeyEngine). Esto conduce a "alucinaciones", generación de código inexacto y fallos de integración, particularmente cuando los estudiantes intentan usar la IA para la comprensión e implementación de código en lugar de solo para la generación de texto. Además, existe una preocupación respecto a la "degradación de habilidades", donde la dependencia excesiva de la IA podría obstaculizar el desarrollo de habilidades de resolución de problemas independientes. El desafío central es desarrollar un sistema de apoyo de IA que proporcione asistencia significativa y consciente del contexto sin simplemente proporcionar soluciones ya preparadas, operando al mismo tiempo dentro de las restricciones de protección de datos que requieren un despliegue local.

Metodología

Los autores emplearon un enfoque empírico de dos etapas dentro de un curso universitario de proyectos de programación donde equipos de estudiantes desarrollan juegos de computadora multijugador en 3D utilizando Java y un modelo de proceso en cascada (waterfall).

Etapa 1: Estudio de Usuario (Cuantitativo y Cualitativo)

• Contexto: Realizado durante el trimestre de octubre–diciembre de 2024 con 38 participantes (aproximadamente el 78% de la cohorte).
• Recolección de Datos: Se administró un cuestionario estructurado basado en el Modelo de Aceptación de la Tecnología durante las presentaciones finales de los proyectos. Evaluó el uso de la IA a través de cuatro fases: Preparación, Análisis, Diseño y Codificación y Pruebas.
• Enfoque: El estudio investigó qué tareas realizaron los estudiantes con la IA, la utilidad percibida, el ahorro de tiempo y los desafíos específicos encontrados (por ejemplo, falta de contexto, resultados inexactos).

Etapa 2: Estudio de Caso (Asistente de LLM Consciente del Repositorio)

• Diseño del Sistema: Para abordar las limitaciones de contexto identificadas en la Etapa 1, los autores desarrollaron un asistente de Modelo de Lenguaje Grande (LLM) desplegado localmente y consciente del repositorio.
• Arquitectura:
  • Generación Aumentada por Recuperación (RAG): El sistema emplea un mecanismo de fundamentación de doble vía.
    1. RAG a nivel de documento: Recupera la documentación del proyecto y materiales auxiliares mediante incrustaciones semánticas (semantic embedding).
    2. Búsqueda a nivel de código: Utiliza herramientas de la API de GitLab de solo lectura (file_path_finder, get_content_from_file, get_methods) para recuperar archivos de código fuente específicos y firmas de métodos basados en las consultas del usuario.
  • Despliegue: El sistema se ejecuta en un servidor local NVIDIA DGX-H100 utilizando contenedores Docker. Utiliza vLLM para el servicio del modelo (API compatible con OpenAI) y Open WebUI para la interfaz de chat.
  • Privacidad de Datos: El despliegue local asegura el control de los datos y la reproducibilidad, abordando los requisitos institucionales de protección de datos.
• Evaluación:
  • Tareas: Se utilizaron dos tareas representativas de la fase de "Preparación" del proyecto Battleship: (1) Añadir modelos 3D para barcos basados en su longitud, y (2) Implementar controles de música de fondo.
  • Variables: El estudio realizó un "barrido de muestreo" (variando temp, top_p, min_p) y un "barrido de modelos" (probando seis modelos que van desde 7B hasta 236B de parámetros, incluyendo variantes de DeepSeek-Coder, Mistral y Qwen).
  • Análisis: Los resultados generados fueron analizados contra un "Catálogo de Defectos" que contiene 12 categorías de errores (por ejemplo, Alucinación, Uso incorrecto de herramientas, Robustez insuficiente, Entrada de recurso faltante).

Contribuciones Clave

1. Evidencia Empírica de las Limitaciones de Contexto: El estudio de usuario proporciona datos cuantitativos que demuestran que, si bien los estudiantes adoptan fuertemente la IA para la documentación y los requisitos (tareas con mucho texto), tienen dificultades significativas con la comprensión e implementación de código debido a la falta de contexto del proyecto en las herramientas de propósito general.
2. Arquitectura de Asistente Consciente del Repositorio: El artículo presenta una implementación concreta de un asistente basado en RAG, desplegado localmente, que integra la recuperación de documentos con búsquedas de nivel de código en el repositorio. Este sistema está diseñado para fundamentar las respuestas en los artefactos reales del proyecto.
3. Catálogo de Defectos para la IA en la Educación: Los autores definen un catálogo específico de 12 tipos de defectos recurrentes observados cuando los LLM interactúan con repositorios de software, proporcionando un marco para el análisis cualitativo del comportamiento de la IA en entornos educativos.
4. Análisis de Sensibilidad de Parámetros y Modelos: El estudio ofrece hallazgos empíricos sobre cómo los parámetros de muestreo (específicamente la temperatura y min_p) y el tamaño del modelo afectan la frecuencia de defectos específicos (por ejemplo, alucinaciones) en un entorno consciente del repositorio.

Resultados

Hallazgos del Estudio de Usuario

• Adopción: El 89.4% de los participantes utilizaron herramientas de IA. La adopción fue mayor en la fase de Codificación y Pruebas (33/38 usuarios) y menor en la fase de Diseño (10/38 usuarios).
• Utilidad: La IA fue calificada como "útil" o "muy útil" para las fases de Preparación y Codificación y Pruebas, particularmente para la documentación y la generación de código. Sin embargo, fue calificada como menos útil (frecuentemente "neutral" o "no útil") durante la fase de Diseño, debido principalmente a la incapacidad de la IA para generar diagramas precisos (clase, secuencia, estado).
• Desafíos: Los problemas principales reportados fueron "resultados inexactos", "falta de contexto" (la IA no conocía el código específico del proyecto o los marcos de trabajo como jMonkeyEngine) y "alucinaciones" (generación de métodos inexistentes).
• Percepción: A pesar de los desafíos, 24 de 34 usuarios sintieron que la IA les ahorró un tiempo significativo, y la mayoría expresó la intención de usar la IA en proyectos futuros.

Hallazgos del Estudio de Caso

• Efectividad del Contexto: El asistente consciente del repositorio produjo consistentemente salidas que estaban más alineadas con la estructura del proyecto en comparación con las herramientas generales observadas en el estudio de usuario. La fundamentación de las respuestas en los artefactos reales del repositorio redujo los problemas de integración.
• Patrones de Defectos:
  • Alucinación: Siguó siendo el defecto más frecuente (ocurriendo en 14/15 configuraciones de muestreo), particularmente en temperaturas altas ($T=1.0$). Sin embargo, la capacidad del sistema para recuperar archivos a menudo permitió la autocorrección en turnos posteriores.
  • Entrada de Recurso Faltante: Un defecto recurrente en casi todos los modelos y configuraciones donde el modelo falló al registrar nuevos recursos (por ejemplo, claves de localización) a pesar de haber recuperado exitosamente la documentación relevante. Esto sugiere una "brecha de recuperación a la acción".
  • Parámetros de Muestreo: La configuración $T \approx 0.5$, $top\_p = 0$ (o bajo) resultó ser la más estable, produciendo la menor cantidad de defectos. Las temperaturas altas combinadas con filtrado aumentaron la tasa de errores.
• Desempeño de los Modelos:
  • El tamaño del modelo no se correlacionó linealmente con el éxito. El modelo de 24B Devstral-Small-2505 produjo salidas altamente utilizables, mientras que el de 7B Mistral-7B falló en completar tareas sin un seguimiento extensivo.
  • Los modelos muy grandes (por ejemplo, 235B) proporcionaron un razonamiento detallado pero no superaron consistentemente a los modelos de tamaño medio en fidelidad de integración.
  • Un problema recurrente en todos los modelos fue la falla al utilizar el contexto recuperado para acciones específicas (por ejemplo, escribir en archivos de recursos), lo que indica que la integración de herramientas es un cuello de botella independiente del tamaño del modelo.

Significado y Reivindicaciones

El artículo sostiene que integrar la recuperación consciente del contexto (específicamente la fundamentación en el repositorio) es un paso crítico para hacer que la IA sea útil en la educación de la ingeniería de software. Los autores argumentan que, si bien las herramientas de IA de propósito general son valiosas para tareas basadas en texto, son insuficientes para la implementación de código sin acceso a los artefactos específicos del proyecto.

El estudio demuestra que un asistente desplegado localmente y consciente del repositorio puede mitigar la "debilidad de integración" de la IA general, produciendo salidas más coherentes y reproducibles. Sin embargo, los autores mantienen la modestia sobre el estado actual de la tecnología, reconociendo que:

• Las alucinaciones y el uso incorrecto de herramientas persisten incluso con RAG.
• La generación de diagramas y el diseño visual siguen siendo áreas donde el soporte de la IA es débil.
• La degradación de habilidades es un riesgo; por lo tanto, la dirección futura propuesta no es una IA que resuelva problemas para los estudiantes, sino un "tutor" que proporcione pistas y guíe la resolución de problemas independiente.

El significado de este trabajo radica en su cambio de la evaluación de herramientas de IA genéricas hacia la ingeniería y evaluación de asistentes de IA específicos de contexto que respetan la privacidad de los datos y los objetivos educativos, proporcionando un plano de cómo tales sistemas pueden integrarse en los currículos de ingeniería de software.