Beyond Models: Reflections on Engineering AI-enabled Systems in a Project-Based Course

Resumo Técnico: Além dos Modelos: Reflexões sobre a Engenharia de Sistemas Habilitados por IA em um Curso Baseado em Projetos

Definição do Problema
A integração da Inteligência Artificial (IA) em sistemas de software deslocou o desafio da engenharia do desenvolvimento de modelos isolados para a construção de sistemas complexos e orientados a dados. Como observado por Sculley et al. [1], os sistemas de IA do mundo real estão entrelaçados com código, dados, configuração e infraestrutura, criando uma "dívida técnica oculta" que vai além da precisidade do modelo. Embora o ensino de aprendizado de máquina (ML) frequentemente enfatize o design algorítmico, os alunos carecem frequentemente de experiência no design arquitetônico, implantação, monitoramento e gerenciamento do ciclo de vida de sistemas habilitados por IA. As abordagens educacionais existentes muitas vezes falham em preencher a lacuna entre os conceitos teóricos de ML e as práticas de engenharia de software (ES) de nível de sistema necessárias para aplicações de IA robustas, escaláveis e sustentáveis. Este artigo aborda a necessidade de frameworks educacionais que exponham estudantes de pós-graduação a esses desafios sistêmicos por meio da aprendizagem baseada em projetos.

Metodologia
Os autores conduziram um estudo de métodos mistos baseado no design e implementação de um curso de nível de mestrado intitulado Algoritmos de IA: Teoria e Engenharia na Universidade de Bremen. O curso utilizou um modelo de aprendizagem baseada em projetos onde 26 alunos, organizados em sete equipes, desenvolveram um sistema de recomendação de filmes de ponta a ponta.

A coleta e análise de dados do estudo envolveram:

1. Estrutura do Curso: O currículo apresentou cinco tarefas escalonadas que levaram a um projeto final. Essas tarefas cobriram progressivamente a prototipagem inicial, engenharia de requisitos, design arquitetônico (incluindo monolítico vs. microsserviços), análise de compensações (trade-off) usando o Método de Análise de Compensação de Arquitetura (ATAM) e adaptação a requisitos evolutivos.
2. Fontes de Dados:
   • Artefatos dos Alunos: Análise das submissões baseadas em equipe, incluindo relatórios analíticos, designs arquitetônicos, documentação técnica e código implementado.
   • Questionário: Uma pesquisa administrada a 14 alunos participantes (de 26 matriculados) abrangendo seu histórico, reflexões sobre resultados de aprendizagem e avaliações do curso.
3. Abordagem de Análise: Os pesquisadores empregaram a análise temática [14] para identificar padrões em dados qualitativos tanto do questionário quanto do feedback fornecido nos artefatos dos alunos. Esta abordagem foi utilizada para abordar quatro Questões de Pesquisa (RQs) específicas relativas aos desafios dos alunos, a eficácia de unir teoria e prática, as conclusões dos alunos e áreas para melhoria do curso.

Principais Contribuições
O artigo apresenta três contribuições primárias para o campo da educação em Engenharia de Software para IA (SE4AI):

1. Design do Curso: A operacionalização de um curso de mestrado baseado em projetos que aborda explicitamente a lacuna entre a teoria de ML e a prática de ES em nível de sistema. A estrutura do curso move os alunos do desenvolvimento de modelos isolados para a construção de sistemas habilitados por IA escaláveis e tolerantes a falhas usando ferramentas contemporâneas (ex: Docker, Kafka, Prometheus, Flask).
2. Análise Empírica: Uma análise detalhada das tarefas dos alunos, projetos finais e respostas de pesquisa que identifica desafios comuns, erros recorrentes e os resultados de aprendizagem específicos alcançados. Isso inclui um exame de como os alunos lidam com a integração de ML heterogênea, gerenciamento de dados e requisitos evolutivos.
3. Recomendações Educacionais: Um conjunto de recomendações derivadas para educadores visando informar o design e a melhoria contínua de cursos similares, focando em mecanismos de feedback, clareza das tarefas e integração de workshops práticos.

Resultados
O estudo identificou várias descobertas críticas em relação aos desafios e resultados de aprendizagem da engenharia de sistemas habilitados por IA:

• Desafios Comuns (RQ1 & RQ1.1):

  • Lacunas de Conhecimento: Os alunos enfrentaram dificuldades significativas devido à expertise desigual em ML e ES. Iniciantes tiveram dificuldade com a curva de aprendizado acentuada de conceitos de ML e ferramentas de DevOps (ex: Kafka, CI/CD), enquanto ocorreram falhas de comunicação dentro de equipes com diferentes níveis de habilidade.
  • Decisões Arquitetônicas: Os alunos tiveram dificuldades com decisões arquitetônicas iniciais, particularmente em relação a mecanismos de troca de modelos, estratégias de fallback e gerenciamento de dependências. Muitos designs careciam da modularidade necessária para lidar com requisitos evolutivos.
  • Dados e Integração: Desafios práticos centraram-se na qualidade dos dados (valores ausentes, ruído), robustez do modelo e a complexidade da integração de módulos heterogêneos. Mudanças nos requisitos frequentemente exigiam revisões sistêmicas profundas, incluindo reengenharia de banco de dados e retreinamento de modelos.
  • Dinâmica de Equipe: Problemas como membros de equipe desengajados e tomada de decisão enviesada impactaram o sucesso e o moral dos projetos.

• Unindo Teoria e Prática (RQ2):

  • O curso facilitou com sucesso a transição da compreensão teórica para a implementação prática. Os alunos relataram que o projeto os expôs à realidade de que "aprendizado de máquina não é sobre construir modelos; é sobre dados e pré-processamento".
  • A exposição a requisitos evolutivos (via Tarefa 5) forçou os alunos a se envolverem em revisão arquitetônica e avaliação de compensações, simulando a incerteza do mundo real.
  • A complexidade da integração serviu como uma oportunidade de aprendizagem significativa, revelando que construir sistemas de IA funcionais envolve gerenciar pipelines de implantação, ferramentas de monitoramento e desempenho do sistema, não apenas o treinamento do modelo.

• Conclusões dos Alunos (RQ3):

  • Centralidade de Dados: Os alunos mudaram sua perspectiva de centrada no modelo para centrada nos dados, reconhecendo que a qualidade dos dados e as estratégias de avaliação muitas vezes superam a escolha do algoritmo.
  • Pensamento de Nível de Sistema: Os alunos desenvolveram uma apreciação por arquiteturas modulares e escaláveis e pela necessidade de processos de desenvolvimento estruturados (ex: ATAM, engenharia de requisitos) para gerenciar a evolução do sistema.
  • Proficiência em Ferramentas: O curso aumentou a literacia técnica em diversas cadeias de ferramentas (Docker, Kubernetes, Flask, etc.), preparando os alunos para o desenvolvimento de sistemas profissionais.

• Áreas para Melhoria (RQ4):

  • Os alunos defenderam a manutenção da estrutura baseada em projetos, mas solicitaram um feedback mais oportuno e construtivo, particularmente durante a fase de design.
  • Houve um pedido por escopos de tarefas mais claros e workshops técnicos mais direcionados (ex: sobre integração de Docker e Flask) para apoiar a implementação.
  • Alguns alunos notaram um descompasso entre as tarefas teóricas e a codificação incremental, sugerindo a necessidade de acoplar as atividades de documentação mais de perto com a implementação para distribuir a carga de trabalho de forma equilibrada.

Significância e Alegações
O artigo alega modestamente que o design do curso promoveu efetivamente o raciocínio de nível de sistema e fortaleceu a consciência dos alunos sobre práticas de ML centradas em dados. Os autores afirmam que o estudo fornece insights valiosos para educadores que visam integrar o ensino de IA e engenharia de software, destacando a necessidade de ir além do desenvolvimento de modelos isolados para a engenharia de sistemas holística.

Os autores reconhecem limitações na validade externa devido ao fato de o estudo ter sido conduzido em um único curso com uma pequena coorte em uma única universidade. Consequentemente, eles advertem contra a generalização direta dos achados, mas sugerem que os padrões e desafios identificados podem informar o design de cursos similares. O estudo enfatiza que, embora o curso tenha atingido seus objetivos de aprendizagem, o refinamento contínuo baseado no feedback dos alunos e na análise de artefatos é essencial para melhorar a experiência educacional em SE4AI.