Beyond Models: Reflections on Engineering AI-enabled Systems in a Project-Based Course

기술 요약: 모델을 넘어: 프로젝트 기반 과정을 통한 AI 지원 시스템 엔지니어링에 대한 성찰

문제 정의
소프트웨어 시스템에 인공지능(AI)을 통합하는 것은 단순한 고립된 모델 개발에서 복잡한 데이터 기반 시스템 구축으로 엔지니어링의 과제를 변화시켰습니다. Sculley 등[1]이 언급했듯이, 실제 AI 시스템은 코드, 데이터, 설정 및 인프라와 얽혀 있으며, 이는 모델 정확도를 넘어 "숨겨진 기술 부채"를 생성합니다. 머신러닝 교육은 주로 알고리즘 설계에 중점을 두는 경우가 많으나, 학생들은 AI 지원 시스템의 아키텍처 설계, 배포, 모니터링 및 라이프사이클 관리에 대한 경험이 부족한 경우가 빈번합니다. 기존의 교육적 접근 방식은 이론적인 ML 개념과 견고하고 확장 가능하며 유지 보수가 가능한 AI 애플리케이션에 필요한 시스템 수준의 소프트웨어 엔지니어링(SE) 관행 사이의 간극을 메우는 데 실패하는 경우가 많습니다. 본 논문은 대학원생들이 프로젝트 기반 학습을 통해 이러한 시스템적 과제에 노출될 수 있는 교육 프레임워크의 필요성을 다룹니다.

방법론
저자들은 브레멘 대학교의 AI 알고리즘: 이론과 엔지니어링이라는 명칭의 석사 과정 설계를 바탕으로 혼합 방법론 연구를 수행했습니다. 이 과정은 26명의 학생이 7개의 팀으로 구성되어 엔드 투 엔드(end-to-end) 영화 추천 시스템을 개발하는 프로젝트 기반 학습 모델을 활용했습니다.

연구의 데이터 수집 및 분석은 다음과 같이 진행되었습니다:

1. 교과 과정 구조: 커리큘럼은 최종 프로젝트로 이어지는 5단계의 단계적 과제(scaffolded assignments)로 구성되었습니다. 이 과제들은 초기 프로토타이핑, 요구사항 공학, 아키텍처 설계(모놀리식 vs 마이크로서비스 포함), 그리고 아키텍처 트레이드오프 분석법(ATAM)을 이용한 트레이드오프 분석, 그리고 진화하는 요구사항에 대한 적응 과정을 점진적으로 다루었습니다.
2. 데이터 소스:
   • 학생 산출물: 분석 보고서, 아키텍처 설계, 기술 문서, 구현 코드를 포함한 팀 기반 제출물 분석.
   • 설문조사: 배경, 학습 결과에 대한 성찰, 강의 평가를 다루는 14명의 참여 학생(등록된 26명 중) 대상 설문조사.
3. 분석 접근 방식: 연구진은 설문조사와 학생 산출물에 제공된 피드백의 질적 데이터에서 패턴을 식별하기 위해 주제 분석(thematic analysis) [14]을 채택했습니다. 이 접근 방식은 학생들의 어려움, 이론과 실무를 연결하는 효과성, 학생들의 주요 학습 내용, 그리고 강의 개선 영역에 관한 네 가지 특정 연구 질문(RQ)을 해결하는 데 사용되었습니다.

주요 기여
본 논문은 소프트웨어 엔지니어링을 위한 AI(SE4AI) 교육 분야에 세 가지 주요 기여를 합니다:

1. 강의 설계: ML 이론과 시스템 수준의 SE 관행 사이의 간극을 명시적으로 다루는 프로젝트 기반 석사 과정의 구체화입니다. 이 과정은 학생들이 고립된 모델 개발에서 벗어나 현대적인 도구(예: Docker, Kafka, Prometheus, Flask)를 사용하여 확장 가능하고 결함 허용(fault-tolerant) 기능이 있는 AI 지원 시스템을 구축하도록 유도합니다.
2. 경험적 분석: 학생들의 과제, 최종 프로젝트, 설문 응답에 대한 상세한 분석을 통해 공통된 과제, 반복되는 실수, 달성된 구체적인 학습 성과를 식별합니다. 여기에는 이질적인 ML 통합, 데이터 관리, 진화하는 요구사항을 처리하는 방식에 대한 검토가 포함됩니다.
3. 교육적 권고 사항: 피드백 메커니즘, 과제의 명확성, 실무 워크숍의 통합에 초점을 맞추어, 유사한 과정의 설계 및 지속적인 개선을 돕기 위한 교육자용 권고 사항을 도출했습니다.

결과
본 연구는 AI 지원 시스템을 엔지니어링할 때 발생하는 과제와 학습 성과에 관한 몇 가지 중요한 발견을 식별했습니다:

• 공통 과제 (RQ1 & RQ1.1):

  • 지식 격차: 학생들은 ML과 SE 사이의 불균형한 전문성으로 인해 상당한 어려움을 겪었습니다. 초급자들은 ML 개념과 DevOps 도구(예: Kafka, CI/CD)의 가파른 학습 곡선에 어려움을 느꼈으며, 다양한 기술 수준을 가진 팀 내에서 의사소통 단절이 발생했습니다.
  • 아키텍처 결정: 학생들은 특히 모델 전환 메커니즘, 폴백(fallback) 전략, 의존성 관리에 관한 초기 아키텍처 결정에서 어려움을 겪었습니다. 많은 설계가 진화하는 요구사항을 처리하는 데 필요한 모듈성을 갖추지 못했습니다.
  • 데이터 및 통합: 실무적 과제는 데이터 품질(결측치, 노이서), 모델 견고성, 그리고 이질적인 모듈 통합의 복잡성에 집중되었습니다. 요구사항의 변화는 데이터베이스 재설계 및 모델 재학습을 포함한 대규모 시스템 개편을 필요로 하는 경우가 많았습니다.
  • 팀 역학: 참여도가 낮은 팀원 문제나 편향된 의사결정 등이 프로젝트 성공과 사기에 영향을 미쳤습니다.

• 이론과 실무의 연결 (RQ2):

  • 본 과정은 이론적 이해에서 실무적 구현으로의 전환을 성공적으로 촉진했습니다. 학생들은 이 프로젝트를 통해 "머신러닝은 모델을 구축하는 것이 아니라 데이터와 전처리에 관한 것"이라는 현실을 접하게 되었다고 보고했습니다.
  • 진화하는 요구사항에 대한 노출(과제 5를 통해)은 학생들이 아키텍처 수정 및 트레이드오프 평가에 참여하도록 강제하였으며, 이는 실제 세계의 불확실성을 시뮬레이션했습니다.
  • 통합의 복잡성은 의미 있는 학습 기회로 작용하여, 기능적인 AI 시스템을 구축하는 것이 단순히 모델을 훈련하는 것이 아니라 배포 파이프라인, 모니터링 도구 및 시스템 수준의 성능을 관리하는 것임을 드러냈습니다.

• 학생들의 주요 학습 내용 (RQ3):

  • 데이터 중심성: 학생들은 관점을 모델 중심에서 데이터 중심으로 전환하여, 알고리즘 선택보다 데이터 품질과 평가 전략이 더 중요하다는 것을 인식했습니다.
  • 시스템 수준의 사고: 학생들은 확장 가능하고 모듈화된 아키텍처와 시스템 진화를 관리하기 위한 구조화된 개발 프로세스(예: ATAM, 요구사항 공학)의 필요성에 대한 이해를 높였습니다.
  • 도구 숙련도: 본 과정은 다양한 도구 체인(Docker, Kubernetes, Flask 등)에 대한 기술적 문해력을 향상시켜 전문적인 시스템 개발을 준비할 수 있게 했습니다.

• 개선 영역 (RQ4):

  • 학생들은 프로젝트 기반 구조를 유지하되, 특히 설계 단계에서 더 시의적절하고 건설적인 피드백을 요청했습니다.
  • 구현을 지원하기 위해 더 명확한 과제 범위와 더 표적화된 기술 워크숍(예: Docker 및 Flask 통합 관련)에 대한 요구가 있었습니다.
  • 일부 학생들은 이론적 과제와 점진적 코딩 사이의 괴리를 언급하며, 업무량을 균등하게 분배하기 위해 문서화 활동을 구현과 더 밀접하게 결합할 필요가 있다고 제안했습니다.

의의 및 주장
본 논문은 해당 과정이 시스템 수준의 추론을 효과적으로 육성하고 데이터 중심 ML 관행에 대한 학생들의 인식을 강화했다고 완곡하게 주장합니다. 저자들은 본 연구가 AI와 소프트웨어 엔지니어링 교육을 통합하고자 하는 교육자들에게 귀중한 통찰을 제공하며, 고립된 모델 개발을 넘어 홀리스틱(holistic)한 시스템 엔지니어링으로 나아가야 할 필요성을 강조한다고 주장합니다.

저자들은 본 연구가 단일 대학의 소규모 집단을 대상으로 한 단일 과정에서 수행되었다는 점에서 외부 타당성의 한계를 인정합니다. 따라서 연구 결과의 직접적인 일반화에는 주의를 요하지만, 식별된 패턴과 과제들이 유사한 과정 설계에 정보를 제공할 수 있다고 제안합니다. 본 연구는 목표를 달est했음에도 불구하고, SE4AI를 위한 교육 경험을 개선하기 위해서는 학생 피드백과 산출물 분석에 기반한 지속적인 개선이 필수적임을 강조합니다.