Resumo Técnico: Aprender a Programar com Contexto: Uma Abordagem Baseada em Estudos

Declaração do Problema

A rápida emergência de ferramentas de IA generativa está transformando o desenvolvimento de software, necessitando de uma adaptação no ensino de engenharia de software. Embora os estudantes utilizem frequentemente ferramentas de IA de propósito geral (ex: ChatGPT, GitHub Cop Copilot), eles frequentemente encontram limitações significativas ao aplicar essas ferramentas em projetos de software estruturados e baseados em equipe. Especificamente, modelos de propósito geral carecem de consciência sobre contextos de projetos específicos, incluindo código-fonte proprietário, documentação do projeto e frameworks de domínio específico (ex: jMonkeyEngine). Isso leva a "alucinações", geração de código imprecisa e falhas de integração, particularmente quando os alunos tentam usar a IA para compreensão e implementação de código, em vez de apenas geração de texto. Além disso, há uma preocupação com a "degradação de habilidades", onde a dependência excessiva da IA pode dificultar o desenvolvimento de habilidades de resolução de problemas independentes. O desafio central é desenvolver um sistema de suporte de IA que forneça assistência significativa e consciente do contexto sem simplesmente fornecer soluções prontas, enquanto opera dentro de restrições de proteção de dados que exigem implantação local.

Metodologia

Os autores empregaram uma abordagem empírica de dois estágios dentro de um curso universitário de projeto de programação, onde equipes de estudantes desenvolvem jogos de computador multiplayer 3D usando Java e um modelo de processo cascata (waterfall).

Estágio 1: Estudo de Usuário (Quantitativo e Qualitativo)

• Contexto: Realizado durante o período de outubro a dezembro de 2024 com 38 participantes (aprox. 78% da turma).
• Coleta de Dados: Um questionário estruturado baseado no Modelo de Aceitação de Tecnologia foi administrado durante as apresentações finais dos projetos. Ele avaliou o uso de IA em quatro fases: Preparação, Análise, Design e Codificação & Testes.
• Foco: O estudo investigou quais tarefas os alunos realizaram com a IA, a utilidade percebida, a economia de tempo e desafios específicos (ex: falta de contexto, resultados imprecisos).

Estágio 2: Estudo de Caso (Assistente de LLM Consciente de Repositório)

• Design do Sistema: Para abordar as limitações de contexto identificadas no Estágio 1, os autores desenvolveram um assistente de Large Language Model (LLM) consciente de repositório e implantado localmente.
• Arquitetura:
  • Geração Aumentada por Recuperação (RAG): O sistema emprega um mecanismo de fundamentação de via dupla.
    1. RAG de nível de documento: Recupera documentação de projeto relevante e materiais auxiliares via embedding semântico.
    2. Busca de nível de código: Utiliza ferramentas de API do GitLab de apenas leitura (file_path_finder, get_content_from_file, get_methods) para recuperar arquivos de código-fonte específicos e assinaturas de métodos com base nas consultas do usuário.
  • Implantação: O sistema roda em um servidor NVIDIA DGX-H100 local usando contêineres Docker. Utiliza vLLM para o serviço do modelo (API compatível com OpenAI) e Open WebUI para a interface de chat.
  • Privacidade de Dados: A implantação local garante o controle de dados e a reprodutibilidade, abordando requisitos institucionais de proteção de dados.
• Avaliação:
  • Tarefas: Duas tarefas representativas da fase de "Preparação" do projeto Battleship foram utilizadas: (1) Adicionar modelos 3D para navios baseados em comprimento, e (2) Implementar controles de música de fundo.
  • Variáveis: O estudo realizou um "varredura de amostragem" (variando temp, top_p, min_p) e uma "varredura de modelo" (testando seis modelos variando de 7B a 236B parâmetros, incluindo variantes do DeepSeek-Coder, Mistral e Qwen).
  • Análise: Os outputs gerados foram analisados contra um "Catálogo de Defeitos" contendo 12 categorias de erros (ex: Alucinação, Uso indevido de ferramenta, Robustez insuficiente, Entrada de recurso ausente).

Principais Contribuições

1. Evidência Empírica de Limitações de Contexto: O estudo de usuário fornece dados quantitativos demonstrando que, embora os alunos adotem fortemente a IA para documentação e requisitos (tarefas intensivas em texto), eles enfrentam dificuldades significativas com compreensão e implementação de código devido à falta de contexto do projeto nas ferramentas de propósito geral.
2. Arquitetura de Assistente Consciente de Repositório: O artigo apresenta uma implementação concreta de um assistente baseado em RAG, implantado localmente, que integra a recuperação de documentos com buscas de nível de código no repositório. Este sistema é projetado para fundamentar as respostas em artefatos reais do projeto.
3. Catálogo de Defeitos para IA na Educação: Os autores definem um catálogo específico de 12 tipos de defeitos recorrentes observados quando LLMs interagem com repositórios de software, fornecendo um framework para análise qualitativa do comportamento da IA em ambientes educacionais.
4. Análise de Sensibilidade de Parâmetros e Modelos: O estudo oferece descobertas empíricas sobre como os parâmetros de amostragem (especificamente temperatura e min_p) e o tamanho do modelo afetam a frequência de defeitos específicos (ex: alucinações) em um cenário consciente de repositório.

Resultados

Descobertas do Estudo de Usuário

• Adoção: 89,4% dos participantes utilizaram ferramentas de IA. A adoção foi maior na fase de Codificação & Testes (33/38 usuários) e menor na fase de Design (10/38 usuários).
• Utilidade: A IA foi classificada como "útil" ou "muito útil" para as fases de Preparação e Codificação & Testes, particularmente para documentação e geração de código. No entanto, foi classificada como menos útil (frequentemente "neutra" ou "não útil") durante a fase de Design, principalmente devido à incapacidade da IA de gerar diagramas precisos (classe, sequência, estado).
• Desafios: Os principais problemas relatados foram "resultados imprecisos", "falta de contexto" (a IA não conhecia o código específico do projeto ou frameworks como jMonkeyEngine) e "alucinações" (geração de métodos inexistentes).
• Percepção: Apesar dos desafios, 24 de 34 usuários sentiram que a IA lhes poupou tempo significativo, e a maioria expressou a intenção de usar IA em projetos futuros.

Descobertas do Estudo de Caso

• Eficácia do Contexto: O assistente consciente de repositório produziu consistentemente outputs mais alinhados com a estrutura do projeto em comparação com as ferramentas gerais observadas no estudo de usuário. A fundamentação das respostas em artefatos reais do repositório reduziu problemas de integração.
• Padrões de Defeitos:
  • Alucinação: Permaneceu o defeito mais frequente (ocorrendo em 14/15 configurações de amostragem), particularmente em temperaturas mais altas ($T=1.0$). No entanto, a capacidade do sistema de recuperar arquivos frequentemente permitia a autocorreção em turnos subsequentes.
  • Entrada de Recurso Ausente: Um defeito recorrente em quase todos os modelos e configurações, onde o modelo falhou em registrar novos recursos (ex: chaves de localização), apesar de ter recuperado com sucesso a documentação relevante. Isso sugere uma "lacuna de recuperação-para-ação".
  • Parâmetros de Amostragem: A configuração $T \approx 0.5$, $top\_p = 0$ (ou baixo) provou ser a mais estável, produzindo o menor número de defeitos. Temperaturas altas combinadas com filtragem aumentaram as taxas de erro.
• Desempenho do Modelo:
  • O tamanho do modelo não correlacionou linearmente com o sucesso. O Devstral-Small-2505 de 24B produziu outputs altamente utilizáveis, enquanto o Mistral-7B de 7B falhou em completar tarefas sem acompanhamento extensivo.
  • Modelos muito grandes (ex: 235B) forneceram raciocínio detalhado, mas não superaram consistentemente os modelos de tamanho médio em fidelidade de integração.
  • Um problema recorrente em todos os modelos foi a falha em utilizar o contexto recuperado de forma eficaz para ações específicas (ex: escrever em arquivos de recursos), indicando que a integração de ferramentas é um gargalo independente do tamanho do modelo.

Significância e Alegações

O artigo alega que integrar a recuperação consciente de contexto (especificamente a fundamentação em repositório) é um passo crítico para tornar a IA útil no ensino de engenharia de software. Os autores argumentam que, embora as ferramentas de IA de propósito geral sejam valiosas para tarefas baseadas em texto, elas são insuficientes para a implementação de código sem acesso a artefatos específicos do projeto.

O estudo demonstra que um assistente local, consciente de repositório, pode mitigar a "fraqueza de integração" da IA geral, produzindo outputs mais coerentes e reproduzíveis. No entanto, os autores mantêm-se modestos quanto ao estado atual da tecnologia, reconhecendo que:

• Alucinações e uso indevido de ferramentas persistem mesmo com RAG.
• Geração de diagramas e design visual continuam sendo áreas onde o suporte de IA é fraco.
• Degradação de habilidades é um risco; portanto, a direção futura proposta não é uma IA que resolve problemas para os alunos, mas um "tutor" que fornece dicas e guia a resolução de problemas de forma independente.

A significância deste trabalho reside na sua mudança de avaliar ferramentas de IA genéricas para projetar e avaliar assistentes de IA específicos de contexto que respeitam a privacidade de dados e os objetivos educacionais, fornecendo um roteiro de como tais sistemas podem ser integrados aos currículos de engenharia de software.