기술 요약: 반도체 산업의 통찰을 바탕으로 한 ML 엔지니어링 팀의 협업 및 의사소통 과제 탐구

문제 정의

복잡한 소프트웨어 시스템에 머신러닝 (ML) 을 통합하는 것은 엔지니어링 팀 간의 협업 및 의사소통 (CoCo) 에 상당한 도전을 제기합니다. 기존 연구는 소프트웨어 중심 환경에서 이러한 과제를 광범위하게 문서화해 왔으나 (예: Nahar et al., 2022; Busquim et al., 2024b), 하드웨어 중심의 맥락, 특히 반도체 산업에 관한 중요한 실증적 공백이 존재합니다.

반도체 제조에서 ML 가능 시스템은 독립적인 디지털 제품이 아니라 물리적 제조 공정, 센서 시스템, 엄격한 품질 제약 조건과 긴밀하게 결합되어 있습니다. 이러한 환경은 다음과 같은 고유한 CoCo 과제를 부과합니다:

• 엄격한 데이터 거버넌스: 독점 데이터, 개인정보 보호 규정, 센서 제한으로 인해 데이터 접근성과 클라우드 사용이 제한됩니다.
• 긴 개발 주기: 생산 일정이 경직되어 있으며, 오류는 비용이 많이 들고 되돌릴 수 없는 제조 실패로 이어질 수 있습니다.
• 학제 간 복잡성: 데이터 과학자, 소프트웨어 엔지니어, 광학 물리학자, 공정 엔지니어, 하드웨어 전문가 등 다양한 역할을 가진 팀이 각기 다른 어휘와 우선순위를 가지고 조정되어야 합니다.
• 매트릭스 조직: 연구 대상 회사는 중앙 집중식 ML 엔지니어링 (MLE) 팀 없이 운영되며, 대신 역할이 부서 간에 동적으로 할당되어 경계가 모호하고 책임이 분산됩니다.

핵심 문제는 소프트웨어 전용 맥락에서 도출된 기존 CoCo 분류 체계가 고위험, 정밀도 중심의 하드웨어 생산 제약 하에서 이러한 학제 간 역학이 어떻게 전개되는지를 완전히 포착하지 못한다는 점입니다.

방법론

저자들은 글로벌 선도 반도체 회사의 실무자들을 대상으로 한 정성적 연구를 수행하며 반구조화 인터뷰를 실시했습니다.

• 참가자: 10 세션에서 12 명의 전문가가 인터뷰에 참여했습니다 (일부 참가자는 짝을 이루어 인터뷰). 코호트에는 데이터 과학자, 소프트웨어/시스템 개발자, ML 엔지니어, 공정 엔지니어, 물리학자가 포함되었습니다. 이들의 경력은 소프트웨어 엔지니어링 분야에서 2 년에서 25 년, ML 분야에서 1 년에서 13 년까지 다양했습니다.
• 절차:
  1. 준비: 반구조화 인터뷰 프로토콜을 개발하고 파일럿 테스트했습니다. 회사의 노동자 위원회로부터 윤리적 승인을 받았습니다.
  2. 수행: 인터뷰 (30~45 분) 는 원격으로 진행되었으며, 오디오 녹음 후 자동 도구 (aTrain with Whisper) 를 사용하여 전사되었으며, 이후 수동 검토 및 참가자 검증을 거쳤습니다.
  3. 분석: 저자들은 반복적인 개방 코딩 과정을 적용했습니다. 두 명의 저자가 독립적으로 전사본을 코딩한 후, 공동 캘리브레이션 세션을 통해 코드를 병합하고 이의를 해결하며 정의를 정제했습니다. 이를 통해 반복되는 주제를 식별하는 데 사용된 안정적인 코드북이 도출되었습니다.
• 연구 질문:
  • RQ1: 일반적으로 사용되는 CoCo 관행과 도구는 무엇인가?
  • RQ2: 직면한 구체적인 CoCo 과제는 무엇인가?
  • RQ3: 실무자들은 이러한 과제를 어떻게 완화하는가?

주요 기여

1. 맥락적 분석: 글로벌 반도체 회사 내 ML 엔지니어링의 CoCo 에 대한 최초의 심층 정성적 분석 중 하나로, 하드웨어 제약과 제조 공정이 시스템 개발에 어떻게 영향을 미치는지 강조합니다.
2. 16 가지 과제 식별: ML 시스템에서 널리 알려진 문제와 반도체 도메인 및 매트릭스 조직 구조에 의해 구체적으로 형성되거나 증폭된 문제를 구분하는 CoCo 과제 분류 체계입니다.
3. 완화 전략 문서화: 실무자들이 이러한 과제를 해결하기 위해 사용하는 19 가지 구체적인 관행과 조정 메커니즘을 보고하여, 효과적인 하향식 전략과 조직적 지원이 필요한 격차를 모두 드러냈습니다.

결과

1. 역할과 책임

연구는 상당한 역할 모호성을 발견했습니다. 전문 역할 (예: 전담 데이터 엔지니어) 이 부재한 상황에서 데이터 과학자는 종종 데이터 추출부터 운영까지의 엔드 투 엔드 파이프라인을 관리하는 일반인으로 기능합니다. '알고리즘 개발자'와 '물리학자' 역할은 모델 훈련에서 중첩되며, '공정 엔지니어'와 '개발 엔지니어'는 요구사항을 공동으로 형성합니다. 이러한 경계 모호성은 개인이 프로젝트에 동적으로 할당되는 매트릭스 구조로 인해 더욱 심화됩니다.

2. CoCo 관행 및 도구

• 도구: 협업은 Microsoft Teams, Outlook, 버전 관리 및 CI/CD 를 위한 Azure DevOps, 데이터 공유를 위한 SharePoint/Samba에 크게 의존합니다.
• 문서화: 관행은 이질적이며, PowerPoint 프레젠테이션과 OpenAPI 명세에서 README 파일 및 아키텍처 결정 기록 (ADR) 에 이르기까지 다양합니다. 그러나 문서화는 종종 설계 선택의 근거나 데이터 의미론이 부족하여 불충분합니다.
• 구조: 의사소통은 매트릭스 구조에서 제품 소유자와 프로젝트 매니저를 통해 흐르며, '실천 공동체 (Communities of Practice)'가 기술적 지침을 제공합니다.

3. 식별된 과제 (총 16 개)

연구는 16 가지 반복적인 과제를 식별했으며, **불명확한 역할과 의무 (C1)**가 가장 많이 언급되었습니다 (9 회).

• 증폭된 알려진 문제:
  • 불명확한 역할/의무 (C1): 매트릭스 구조로 인해 부서 간 책임자를 찾기 어려워 증폭됩니다.
  • 초기 단계의 분산된 의사소통 (C2): LLM 기능이나 통합 요구사항에 대한 오해는 긴 생산 주기 때문에 비용이 더 많이 듭니다.
  • ML 지식 부족 (C3): 이해관계자들이 종종 ML 복잡성에 대한 인식이 부족하여 시간과 자원에 대한 비현실적인 기대를 초래합니다.
  • 재작업 (C5): 다양한 이해관계자에게 기본 ML 개념을 반복적으로 재설명하는 데 상당한 시간이 소요됩니다.
• 맥락 특이적 과제:
  • 데이터 거버넌스 복잡성 (C10): 생산/계측 데이터에 대한 엄격한 규제로 인해 클라우드 사용과 표준 ML 관행이 제한됩니다.
  • 불명확한 진행 중인 작업 (C11): 매트릭스 구조로 인해 다른 분산 팀이 무엇을 수행하는지 가시성이 부족합니다.
  • 근속 기간 우려 (C12): 외부 파트너나 임시 역할에 대한 불확실성이 장기 조정을 방해합니다.
  • 부재한 기술 리더 (C16): 학문적 및 조직적 경계를 넘어 의사결정을 조정할 중앙 기술 권한의 부재.

4. 완화 접근법 (총 19 개)

실무자들은 이러한 과제를 대처하기 위해 다양한 전략을 사용합니다:

• 회의 (스크럼/스프린트): 프로세스, 데이터, 모델 성능에 대한 정렬을 위해 사용됨 (11 회 언급).
• 직접적인 의사소통을 통한 조기 명확화: 통합 시작 전 기대치 격차 해소.
• 소프트웨어 및 ML 리터러시: 비 ML 직원이 제한 사항을 이해하고 ML 직원이 소프트웨어 제약을 이해하도록 돕기 위한 교차 훈련.
• 명확한 역할과 의무: 중복을 줄이기 위한 책임 정의.
• 기술 관리자/멘토: 관리 및 기술적 격차를 연결하는 실무 ML 경험을 가진 개인.
• 철저하고 검증된 문서화: 여러 부서가 관여하는 반복적 문서화 프로세스.
• 중재자/중간 의사소통 계층: 분산을 방지하기 위해 의사소통을 중앙 집중화.
• 잘 정의된 청사진: 재현성을 개선하기 위한 사용 사례용 재사용 가능한 템플릿.

중요성 및 주장

본 논문은 CoCo 를 '부드러운' 이슈가 아닌 1 급 엔지니어링 관심사로 취급해야 한다고 주장합니다. 반도체 산업에서 CoCo 붕괴의 결과는 단순한 배송 지연이 아니라 생산 신뢰성에 직접적인 영향을 미치고, 운영 위험을 초래하며, 되돌릴 수 없는 제조 실패를 일으킬 수 있습니다.

이 연구는 많은 CoCo 과제 (예: 역할 모호성, 의사소통 격차) 가 ML 시스템의 사회기술적 본질에 근본적이며 소프트웨어 중심 맥락에서도 나타나지만, 하드웨어 주도 제약에 의해 재맥락화되고 증폭된다고 주장합니다. 구체적으로:

• 데이터 거버넌스: 엄격한 정책으로 인해 표준 ML 도구의 적용 가능성이 제한됩니다.
• 물리적 결합: 소프트웨어와 물리적 공정 간의 불일치는 오류 수정 비용을 더욱 증가시킵니다.
• 조직 구조: 매트릭스 조직과 중앙 집중식 MLE 팀의 부재는 가시성 및 조정 문제를 심화시킵니다.

저자들은 하향식 전략 (예: 실천 공동체, 직접적인 의사소통) 이 현재 효과적이지만, 이러한 과제를 지속 가능하게 해결하기 위해서는 체계적인 조직 개입 (예: 정의된 책임 매트릭스, 기술 리더십 역할) 이 필요하다고 결론지었습니다. 이 연구 결과는 유사한 하이테크 제조 부문의 실무자들에게 근거 기반의 이해를 제공하며, 하드웨어 제약이 있는 ML 환경의 사회기술적 역학에 대한 향후 연구의 기초를 마련합니다.