A Survey of Algorithm Debt in Machine and Deep Learning Systems: Definition, Smells, and Future Work

논문 요약: 머신 및 딥러닝 시스템의 알고리즘 부채 (Algorithm Debt) 에 대한 조사

1. 문제 정의 (Problem Statement)

머신러닝 (ML) 및 딥러닝 (DL) 기술의 급속한 발전은 다양한 산업에 적용되고 있지만, 기존 소프트웨어 공학의 기술 부채 (Technical Debt, TD) 개념을 넘어선 새로운 복잡성을 야기합니다. 특히 **알고리즘 부채 (Algorithm Debt, AD)**는 ML/DL 시스템의 성능 저하, 확장성 한계, 그리고 모델의 열화를 초래하는 중요한 문제입니다.

• 현황: AD 는 기존 TD 유형 (디자인, 모델, 데이터 부채 등) 과 혼동되거나, 명시적으로 정의되지 않은 채 '성능 문제'나 '모델 부채'로 간주되는 경우가 많습니다.
• 핵심 문제: AD 가 무엇인지에 대한 명확한 정의가 부족하고, 개발자가 알고리즘적 비효율성을 의식적으로 선택하여 단기적 이득 (빠른 개발, 단순성) 을 얻는 대신 장기적인 유지보수 비용 (계산 비용 증가, 확장성 저하, 모델 정확도 하락) 을 지불하는 메커니즘이 체계적으로 연구되지 않았습니다.

2. 연구 방법론 (Methodology)

저자들은 ML/DL 시스템 내의 AD 를 정의하고, 그 실태를 파악하며, 냄새 (Smells) 를 식별하기 위해 **혼합 검색 프로토콜 (Hybrid-search protocol)**을 사용한 체계적인 문헌 조사 (Systematic Literature Review) 를 수행했습니다.

• 데이터 수집: IEEE, ACM, Springer, ScienceDirect 등 주요 소프트웨어 공학 데이터베이스와 Google Scholar 를 활용하여 2010 년 이후의 논문을 검색했습니다.
• 검색 전략: 'Technical Debt', 'Algorithm Debt', 'Code Smells', 'ML/DL' 등의 키워드를 조합하여 710 건의 논문을 추출한 후, 중복 제거 및 엄격한 포함/제거 기준을 적용하여 **42 개의 주요 연구 (Primary Studies)**를 최종 선정했습니다.
• 보조 데이터: Liu et al. (2020) 의 연구에서 제공된 7,159 개의 명시적으로 'AD'로 라벨링된 자기 인정 기술 부채 (SATD) 코멘트 데이터를 추가 분석에 활용했습니다.
• 분석 기법:
  • 주제 분석 (Thematic Analysis): 선정된 논문과 SATD 코멘트를 코딩하여 AD 의 정의, 구성 요소, 냄새를 도출했습니다.
  • 삼각 검증 (Triangulation): 문헌 연구 결과와 실제 개발자 코멘트 데이터를 교차 검증하여 결론의 신뢰성을 높였습니다.
  • 전문가 검증: 소프트웨어 공학 및 TD 전문가가 코딩 과정과 결과물을 검증하여 일관성을 확보했습니다.

3. 주요 기여 (Key Contributions)

이 논문은 AD 에 대한 다음과 같은 핵심 기여를 제공합니다.

1. AD 의 확장된 정의: 기존 정의 (성능 저하) 를 넘어 **비효율성 (Inefficiency), 확장성 제한 (Scalability Limitations), 모델 열화 (Model Degradation)**라는 세 가지 핵심 차원을 포함하는 포괄적인 정의를 제시했습니다.
2. AD 냄새 (Smells) 의 분류 체계: ML/DL 시스템에서 발생하는 9 가지 구체적인 AD 냄새를 식별하고, 이를 데이터, 알고리즘 설계, ML 전문성 부족이라는 세 가지 범주로 분류했습니다.
3. AD 와 다른 TD 유형의 명확한 구분: AD 가 코드 구조 (Code Debt), 데이터 품질 (Data Debt), 모델 아키텍처 (Model Debt) 와 어떻게 다른지 개념적 경계를 명확히 했습니다.
4. 개념적 프레임워크 및 연구 로드맵: AD 의 원인, 증상, 완화 전략을 연결하는 프레임워크와 향후 연구를 위한 5 단계 로드맵을 제안했습니다.

4. 주요 결과 (Key Results)

4.1. AD 의 정의 및 구성 요소 (RQ1)

• 정의: 알고리즘 부채는 시스템 목표에 비해 확장성이 제한되거나 모델이 열화되는 방식으로 알고리즘 선택이 구현될 때 발생하는 기술 부채입니다.
• 세 가지 핵심 증상:
  1. 비효율성 (Inefficiency): 불필요한 계산, 비최적화된 로직으로 인한 시간/메모리 낭비 (예: 중간 배열 생성, 비효율적인 원-핫 인코딩).
  2. 확장성 제한 (Scalability Limitations): 대규모 데이터나 분산 환경에서 알고리즘이 제대로 작동하지 않는 경우 (예: 고정된 배치 크기, MPI 환경 비호환성).
  3. 모델 열화 (Model Degradation): 수치적 불안정성, 과적합, 데이터 드리프트 등으로 인한 성능 저하 (예: 엡실론 누락, 잘못된 정규화).

4.2. 연구 현황 및 암시적 존재 (RQ2)

• 명시적 언급의 부재: 선정된 42 개 논문 중 AD 를 명시적으로 언급한 논문은 **17%(7 개)**에 불과했습니다.
• 암시적 존재: 나머지 **83%(35 개)**의 논문은 '모델 부채', '데이터 부채', '성능 문제' 등의 용어로 AD 관련 이슈를 다루고 있었습니다. 이는 AD 가 실제 개발 현장에서 광범위하게 존재하지만, 개념적으로 명확히 인식되지 않고 다른 범주로 분류되어 왔음을 시사합니다.

4.3. AD 냄새 (Smells) 식별 (RQ3)
문헌과 코멘트 분석을 통해 식별된 9 가지 AD 냄새는 다음과 같습니다:

1. Plain old data: 메타데이터 없이 원시 데이터만 제공되어 추가 로직이 필요한 경우.
2. Non-representative statistics estimation: 편향된 샘플링으로 인한 통계량 오류.
3. Bias with batch norm: 배치 정규화 (Batch Norm) 와 드롭아웃 (Dropout) 의 잘못된 결합으로 인한 학습 불안정.
4. Unstable data dependencies: 외부 시스템의 동적 변화로 인한 입력 데이터의 불안정성.
5. Out of domain data: 학습 데이터와 배포 환경 (도메인) 이 불일치하는 경우.
6. No scaling before scaling-sensitive operation: 민감한 연산 전 특징 스케일링 누락.
7. Unnormalised feature: 정규화되지 않은 특징으로 인한 과적합 또는 수렴 지연.
8. Inadequate ML expertise: 개발자의 ML 전문성 부족으로 인한 부적절한 알고리즘 선택.
9. Hyperparameters: 기본값 사용이나 비효율적인 하이퍼파라미터 튜닝.

5. 의의 및 시사점 (Significance)

• 이론적 의의: AD 를 단순한 성능 문제가 아닌, 알고리즘적 의사결정에서 비롯된 독립적인 기술 부채 유형으로 정립했습니다. 이는 기존 TD 분류 체계 (Alves et al., Liu et al.) 를 확장하여 ML/DL 시스템의 고유한 문제를 더 잘 설명합니다.
• 실무적 의의:
  • MLOps 개선: 모델 정확도뿐만 아니라 알고리즘 효율성과 확장성을 모니터링하는 AD 인지 테스트 (AD-aware tests) 의 필요성을 강조합니다.
  • 교육 및 역량 강화: 개발자의 ML 전문성 부족이 AD 의 주요 원인임을 지적하여, 지속적인 교육과 지식 공유의 중요성을 제기합니다.
  • 도구 개발: LLM 기반의 SATD 탐지 기술을 확장하여 AD 냄새를 자동으로 탐지하고 수정을 제안하는 도구 개발의 방향성을 제시합니다.
• 미래 연구 방향: AD 의 진화 과정을 추적하는 종단 연구, 산업계 사례 연구, 그리고 AD 탐지 및 완화 도구의 개발을 위한 구체적인 로드맵을 제시했습니다.

결론적으로, 이 논문은 ML/DL 시스템의 지속 가능성을 위해 '알고리즘 부채'를 체계적으로 인식하고 관리해야 할 필요성을 강조하며, 이를 위한 정의, 분류, 그리고 대응 전략을 제시하는 기초 작업입니다.