LLM-Powered Workflow Optimization for Multidisciplinary Software Development: An Automotive Industry Case Study

논문 개요

이 논문은 볼보 그룹 (Volvo Group) 의 차량용 API 시스템인 spapi 개발 사례를 통해, 다학제적 소프트웨어 개발 (Multidisciplinary Software Development, MSD) 환경에서 발생하는 비효율성을 해결하기 위해 대형 언어 모델 (LLM) 기반 워크플로우 최적화를 제안하고 검증한 연구입니다. 도메인 전문가 (제어 엔지니어 등) 와 소프트웨어 개발자 간의 협업 과정에서 발생하는 수동 조정, 문서 간 불일치, 그리고 코드 변환의 병목 현상을 그래프 기반 접근법과 LLM 을 활용하여 자동화했습니다.

---

1. 문제 정의 (Problem)

다학제적 소프트웨어 개발에서는 도메인 전문가가 생성한 전문적인 명세 (신호 정의, 제어 문서 등) 를 개발자가 실행 가능한 코드로 변환해야 합니다. 기존 워크플로우에서는 다음과 같은 심각한 비효율성이 존재했습니다.

• 분산된 아티팩트 (Fragmented Artifacts): API 명세, 신호 정의, 상세 설명 등 다양한 형식의 문서가 서로 다른 수준에서 정보를 제공하여 개발자가 이를 일일이 대조하고 정합성을 맞추는 데 많은 시간이 소요됨.
• 수동 번역 과부하 (Manual-translation Overload): GitHub Copilot 과 같은 AI 코딩 도구가 개별 코드 작성은 보조하지만, 도메인 지식 (신호 정의) 을 코드 로직으로 매핑하는 워크플로우 전체의 연결 고리는 여전히 수동 조정과 반복적인 확인 과정을 필요로 함.
• 모호성으로 인한 churn: 명세의 불명확함으로 인해 개발자와 전문가 간의 반복적인 확인 (Clarification) 라운드가 발생하며, 이는 개발 일정을 지연시키고 오류 가능성을 높임.
• 조정 병목 현상 (Coordination Bottlenecks): 수백 개의 API 엔드포인트와 수천 개의 신호를 관리하기 위해 구성된 조정 그룹조차 한계를 드러내며, 비공식적인 소통 경로가 생겨 일관성이 떨어짐.

---

2. 방법론 (Methodology)

저자들은 MSD 워크플로우를 **방향성 있는 의존성 그래프 (Directed Dependency Graph)**로 모델링하고, 이를 단계적으로 최적화하는 프레임워크를 제시했습니다.

가. 워크플로우 그래프 표현 (Workflow Graph Representation)

• 개발 과정의 아티팩트 (문서, 명세) 를 노드 (Node), 정보 의존성과 수동 조정을 **에지 (Edge)**로 정의.
• 초기 그래프는 다양한 전문가 (API 디자이너, 제어 엔지니어, 시스템 엔지니어 등) 와 개발자 간의 복잡한 상호작용을 포함.

나. 워크플로우 최적화 프레임워크

1. 노드 레벨 변환 (Node-level Transformation):
   • 수동 번역 작업을 LLM 기반 자동화 서비스로 대체.
   • DSPy 프레임워크를 사용하여 구조화된 프롬프팅과 타입 제약을 적용.
   • 생성된 코드는 자동화된 테스트 케이스를 통해 검증 (Self-debugging) 된 후에만 승인됨.
2. 그래프 레벨 재구조화 (Graph-level Restructuring):
   • 자동화 서비스가 도입된 후, 불필요한 수동 조정 에지를 제거하여 그래프를 단순화.
   • 정보 흐름이 직접적인 프로그램 호출로 대체되도록 워크플로우를 재설계.

다. 구현된 3 단계 자동화 서비스

1. 신호 R/W 합성 (Signal R/W Synthesis): CAN 신호 정의에서 Python 읽기/쓰기 함수를 자동 생성.
2. 신호 - 속성 합성 (Signal-Property Synthesis): API 속성 (예: '에어컨 모드') 과 하위 CAN 신호 간의 매핑을 수행. 값의 도메인 불일치 (ON/OFF vs 0/1) 나 단위 변환 (m/s vs km/h) 을 처리하는 논리를 생성.
3. 속성 - 엔드포인트 합성 (Property-Endpoint Synthesis): OpenAPI 명세와 생성된 속성 핸들러를 기반으로 FastAPI 엔드포인트 (라우팅, 유효성 검사, 에러 처리 포함) 를 완성.

---

3. 주요 기여 (Key Contributions)

1. 실무 기반 MSD 병목 현상 분석: 볼보의 spapi 시스템을 사례로, 대규모 도메인 지식 코딩화 과정에서 발생하는 구체적인 실패 모드 (Failure Modes) 를 식별하고 이를 진단할 수 있는 어휘를 제공.
2. 워크플로우 변환을 통한 자동화: 개별 코딩 작업 가속화가 아닌, 워크플로우 자체의 구조를 변경하여 LLM 이 수동 조정을 점진적으로 대체하도록 하는 그래프 기반 접근법 제시.
3. 실제 배포된 시스템의 정량적 검증: 6 개의 산업 도메인에 걸쳐 192 개의 실제 API 엔드포인트를 생성하여 성능을 입증.
4. 이해관계자 피드백: 실제 생산 환경 (Volvo Group) 에서 도메인 전문가와 개발자의 높은 만족도를 확인하고, 커뮤니케이션 효율성 개선 효과를 입증.

---

4. 실험 결과 (Results)

spapi 시스템 (192 개 엔드포인트, 420 개 속성, 776 개 CAN 신호) 에 대한 평가 결과는 다음과 같습니다.

• 코드 품질 (Performance):
  • F1 Score: 93.7% (기존 GitHub Copilot 보조 개발자 대비 93.2% 보다 우수).
  • 6 개 도메인 (운전 생산성, 연결 시스템, 에너지, 차량 시스템, 가시성, 동역학) 전반에서 일관된 성능을 보임.
  • 정밀도 (Precision) 는 97.6% 로 매우 높았으며, 회수율 (Recall) 은 보수적인 매핑 전략으로 인해 90.2% 였음.
• 개발 시간 효율성 (Efficiency):
  • API 당 개발 시간: 약 5 시간에서 **7 분 미만 (약 396 초)**으로 단축 (97% 감소).
  • 총 소요 시간 절감: 192 개 API 전체 개발에 약 979 시간의 엔지니어링 시간 절약.
• 신뢰성 (Reliability):
  • 자동 디버깅 (테스트 기반 검증) 을 제거할 경우 F1 점수가 87.5% 로 급감하여, 자동 디버깅이 신뢰성에 가장 큰 기여를 함.
  • 명세 오류 (범위 초과, 잘못된 Enum 값 등) 를 98% 이상 정확도로 탐지.
• 만족도 (Satisfaction):
  • 도메인 전문가 평균 만족도: 4.80/5.0
  • 개발자 평균 만족도: 4.67/5.0
  • 특히 커뮤니케이션 효율성에 대해 모든 참여자가 만점 (5.0) 을 부여하여 조정 병목 현상이 해결되었음을 시사.

---

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 다음과 같은 중요한 시사점을 제공합니다:

• 워크플로우 수준의 자동화: 단순한 코드 생성 (Code Generation) 을 넘어, 이질적인 도메인 아티팩트와 구현 코드 간의 **연결 고리 (Workflow)**를 자동화하는 것이 MSD 환경에서 더 큰 효과를 가져옴을 증명.
• 점진적 도입 가능성: 기존 워크플로우를 완전히 대체하는 것이 아니라, 그래프 기반 변환을 통해 수동 단계를 점진적으로 자동화 서비스로 교체함으로써 조직의 저항을 최소화하고 점진적인 도입을 가능하게 함.
• 산업 적용 가능성: 자동차 산업뿐만 아니라 의료, 금융 등 전문 도메인 지식을 소프트웨어로 변환해야 하는 모든 분야에서 적용 가능한 패턴을 제시.
• 생산성 극대화: LLM 을 활용한 워크플로우 최적화는 개발 시간을 획기적으로 줄이면서도 품질을 유지하거나 향상시켜, 엔지니어들이 더 높은 가치의 작업 (설계, 검증) 에 집중할 수 있게 함.

결론적으로, 이 논문은 LLM 이 단순한 코딩 도구를 넘어 다학제적 협업의 구조적 병목 현상을 해결하는 핵심 인프라로 작동할 수 있음을 실제 산업 사례를 통해 입증했습니다.