Using LLM-Generated Draft Replies to Support Human Experts in Responding to Stakeholder Inquiries in Maritime Industry: A Real-World Case Study of Industrial AI

이 연구는 해운 산업에서 이해관계자 문의에 대한 답변 초안 작성에 LLM 을 활용하는 사례를 분석하여, 인간 전문가의 감독 하에 LLM 을 보조 도구로 활용할 경우 업무 효율성을 높일 수 있지만 안전과 정밀도가 요구되는 최종 결정은 여전히 인간이 내려야 함을 시사합니다.

핵심

🚢 제목: "선박 전문가를 위한 AI 비서: 초보 조수 vs 베테랑 선장"

이 연구는 노르웨이의 거대 해운 인증 기관인 DNV(디엔브이) 에서 진행되었습니다. 이곳의 전문가들 (케이스 핸들러) 은 매일 전 세계 선박 소유주나 관리자들로부터 복잡한 기술 질문을 받습니다. 예를 들어, "이 배의 레이더가 고장 났는데 어떻게 해야 하나요?" 같은 질문들입니다.

연구팀은 **"AI 가 먼저 답안 초안을 짜주면, 전문가들의 일이 훨씬 쉬워지지 않을까?"**라고 생각했습니다. 그래서 AI 가 과거의 수많은 사례를 참고해서 답을 미리 작성해주는 기능을 시험해 보았습니다.

🧩 핵심 비유: "유능하지만 가끔 헷갈리는 초보 조수"

이 연구의 결과를 한 마디로 요약하면 다음과 같습니다.
"AI 는 훌륭한 '초보 조수'지만, 아직 '선장' (전문가) 을 완전히 대체할 수는 없습니다."

1. AI 의 장점: "빠르고 깔끔한 초안 작성"

• 비유: AI 는 마치 매우 빠르고 문법 실수가 없는 비서 같습니다.
• 현실: AI 가 작성한 초안은 문장 구조가 매끄럽고, 전문 용어도 잘 사용합니다. 또한, 과거에 비슷한 질문이 어떻게 답해졌는지 빠르게 찾아내어 초안을 만들어줍니다.
• 효과: 전문가들은 "이제부터는 이 초안을 바탕으로 수정만 하면 되겠구나"라고 생각하며 시간을 절약할 수 있었습니다. 특히 단순한 질문이나 표준적인 절차에 대한 답변은 AI 가 잘 해냈습니다.

2. AI 의 단점: "맥락을 모르는 헛소리 (할루시네이션)"

• 비유: 하지만 이 초보 조수는 상황을 전혀 모르고 책만 보고 답을 외우는 학생 같습니다.
• 현실:
  • 첨부 파일 불가: 전문가들은 질문과 함께 첨부된 PDF 나 사진 (예: 고장 난 부품 사진) 을 보고 답을 짓지만, AI 는 이 파일들을 볼 수 없습니다.
  • 구체성 부족: "배의 종류, 항구, 선주, 규정" 등 미세한 차이가 중요한 해양 산업 특성상, AI 는 너무 일반적인 답변을 하거나 때로는 사실과 다른 헛소리를 (할루시네이션) 하기도 합니다.
  • 수정 필요: 연구 결과, 전문가들은 AI 가 쓴 초안의 약 86% 에서 큰 수정을 가하거나, 아예 처음부터 다시 쓸 정도로 내용이 맞지 않는 경우가 많았습니다.

3. 전문가들의 반응: "신뢰는 안 하지만, 호기심은 있다"

• 비유: 전문가들은 AI 를 "어린아기" 나 "초보" 라고 부르며 경계하면서도, "조금만 더 성장하면 쓸모있겠다" 고 기대하는 '신중한 호기심' 상태를 보였습니다.
• 현실:
  • "이 AI 가 쓴 걸 그대로 보내면 고객들이 신뢰를 잃지 않을까?"라는 걱정이 있었습니다.
  • 하지만 "AI 가 초안을 짜주면 내가 아이디어를 내거나, 비슷한 과거 사례를 찾는 데 도움이 된다"는 점에서는 긍정적으로 평가했습니다.
  • 결론적으로, 전문가들은 AI 를 '대체제'가 아닌 '보조 도구'로 받아들였습니다. 최종 책임은 여전히 인간에게 있습니다.

📊 연구의 핵심 발견 (숫자로 보는 이야기)

연구팀은 AI 가 쓴 초안과 전문가가 최종 보낸 답변을 컴퓨터로 비교해 봤습니다. (이걸 '텍스트 유사도 분석'이라고 합니다.)

• 결과: 두 텍스트가 완전히 똑같은 경우는 드물었고, 반대로 아예 다른 경우도 많았습니다.
• 이유: AI 는 과거의 데이터를 기반으로 답을 내지만, 실제 상황은 매번 다릅니다. 특히 복잡하고 위험한 상황 (안전과 직결된 문제) 에서는 AI 가 실수할 확률이 높기 때문에, 인간 전문가가 반드시 다시 한번 확인하고 수정해야 했습니다.

💡 결론 및 교훈: "인간과 AI 의 완벽한 파트너십"

이 논문이 우리에게 주는 메시지는 다음과 같습니다.

1. AI 는 마법 지팡이가 아닙니다: 안전이 중요한 산업 (선박, 의료, 법률 등) 에서는 AI 가 혼자서 결정을 내리면 안 됩니다.
2. 인간이 '선장'이어야 합니다: AI 는 초안을 작성하고 정보를 정리하는 '조수' 역할을 잘하지만, 최종 판단과 책임은 경험 많은 '선장' (전문가) 이 져야 합니다.
3. 함께 일하는 법을 배워야 합니다: AI 를 믿기만 하거나, 아예 무시하는 것이 아니라, "AI 가 초안을 짜면 인간이 수정하고 검증한다" 는 새로운 업무 방식을 만들어야 합니다.

한 줄 요약:

"AI 는 훌륭한 초안 작성자이지만, 해양이라는 복잡한 바다를 항해하려면 결국 경험 많은 인간 선장의 손길이 반드시 필요합니다."

이 연구는 앞으로 AI 를 어떻게 우리 일상에 안전하게 도입할지, 그리고 인간과 기계가 어떻게 서로의 약점을 보완하며 함께 일할 수 있을지에 대한 귀중한 지침을 제공합니다.

기술 요약

논문 요약: 산업용 AI 사례 연구 - 해운 산업에서 이해관계자 문의에 대한 LLM 생성 초안 응답을 통한 전문가 지원

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 해운 산업은 복잡한 규제, 다양한 이해관계자 (선주, 항만 당국, 규제 기관 등), 그리고 고도의 전문성을 요구하는 기술적 문의가 특징입니다. DNV(노르웨이 선급) 의 '기술 지원 데스크 (Technical Help Desk, DATE 시스템)'는 연간 약 6 만 건의 '선박 운항 중 (Fleet in Service)' 관련 문의를 처리하며, 24 시간 내 응답을 보장합니다.
• 문제:
  • 데이터 과부하: 60 만 건 이상의 과거 사례 데이터베이스가 존재하지만, 특정 문의에 맞는 관련 사례를 효율적으로 찾아내는 것은 인간 전문가 (Case Handlers) 에게 큰 부담이 됩니다.
  • 전문성과 정확성 요구: 해운 산업은 안전과 규제 준수가 생명인 분야로, 정보의 오류나 맥락 부재는 심각한 사고나 규제 제재를 초래할 수 있습니다.
  • LLM 의 한계: 일반적인 대규모 언어 모델 (LLM) 은 환각 (Hallucination), 사실적 오류, 그리고 산업별 특수한 맥락 (Tacit Knowledge) 이해 부족으로 인해 안전이 중요한 분야에서 독립적으로 사용하기 어렵습니다.
• 연구 목적: LLM 이 생성한 초안 응답 (Draft Replies) 이 인간 전문가의 워크플로우를 어떻게 지원할 수 있는지, 그리고 그 유용성과 신뢰성을 실증적으로 평가하는 것입니다.

2. 연구 방법론 (Methodology)

이 연구는 혼합 방법론 (Mixed-methods approach) 을 사용하여 주관적 인식과 객관적 텍스트 유사성을 종합적으로 분석했습니다.

• 연구 대상: DNV 의 DATE 시스템에서 근무하는 기술 전문가 (Case Handlers) 와 그들이 생성한 초안 및 최종 응답 텍스트.
• 데이터 수집 기간: 2024 년 5 월 ~ 6 월 (LLM 기능 시범 운영 기간).
• 주요 방법:
  1. 정성적 예비 연구: 42 시간의 관찰, 4 명의 전문가 인터뷰, 2 명의 개발자 인터뷰를 통해 초기 사용 경험과 워크플로우 영향을 파악.
  2. 설문 조사 (Subjective Measure): 198 명 중 74 명 (응답률 37.37%) 이 참여. 사용자와 비사용자 (23 명) 로 구분하여 LLM 초안의 정확성, 언어 품질, 생산성 향상, 신뢰도 영향 등을 4 점 리커트 척도로 조사.
  3. 텍스트 유사성 분석 (Computational Measure): 2,306 건의 최종 데이터셋 (LLM 초안 vs. 전문가 최종 응답) 을 분석.
     • 의미 임베딩 유사성 (SES): text-embedding-ada-002 및 text-embedding-3-large 모델을 사용하여 코사인 유사도 (Cosine Similarity) 계산.
     • LLM-as-a-Judge (LAAJ): GPT-4o 를 활용하여 '언어 비교성', '해석 유사성', '전체 유사성' 3 가지 차원에서 7 점 척도로 평가.
     • 삼각법 (Triangulation): SES 와 LAAJ 결과의 상관관계를 분석하여 측정의 신뢰성 검증.

3. 주요 기여 및 기술적 접근 (Key Contributions & Technical Approach)

• RAG (Retrieval-Augmented Generation) 기반 시스템 구축:
  • DATE 시스템의 60 만 건 과거 사례를 벡터 데이터베이스로 저장.
  • 새로운 문의가 들어오면 벡터 검색을 통해 가장 유사한 3 건의 사례를 추출하고, 이를 프롬프트에 포함시켜 OpenAI ChatGPT-3.5 를 통해 초안 생성.
  • 이 방식은 LLM 이 훈련 데이터 외부의 신뢰할 수 있는 출처를 참조하도록 하여 환각을 줄이고 맥락 적합성을 높임.
• 산업용 AI (Industrial AI) 의 실증적 평가:
  • 단순한 성능 지표가 아닌, 안전이 중요한 산업 환경에서의 인간-AI 협업 (Human-AI Collaboration) 모델과 수용 태도를 분석.
  • LLM 을 '대체'가 아닌 '보조 (Augmentation)' 도구로 위치시키는 전략적 프레임워크 제시.

4. 주요 결과 (Results)

가. 전문가의 인식 (Survey & Qualitative Findings)

• 태도: "의심스럽지만 호기심 있는 (Skeptical but curious)" 태도. 초기에는 부정적이었으나, 업데이트와 관리자의 지원을 통해 점진적인 수용이 이루어짐.
• 유용성:
  • 긍정적: 언어의 전문성과 일관성, 효율성 향상, 아이디어 발상 (Brainstorming) 지원.
  • 부정적: 정확성 부족이 가장 큰 문제점으로 지적됨. 86% 이상의 사용자가 초안의 정확성에 동의하지 않음.
  • 수정 필요: 대부분의 초안은 전문가에 의해 상당 부분 수정되거나 재작성됨. 특히 첨부 파일 (PDF 등) 이 처리되지 않아 중요한 정보가 누락되는 경우가 많음.
• 신뢰도: 이해관계자의 조직에 대한 신뢰에 미치는 영향에 대해서는 의견이 분분했으나, 부정적 영향을 우려하는 그룹이 가장 낮은 만족도를 보임.

나. 텍스트 유사성 분석 (Text Similarity Analysis)

• 이중 분포 (Bimodal Distribution): 유사도 점수 분포가 양극화됨.
  • 높은 유사도 그룹: 단순한 문의나 명확한 절차의 경우 LLM 초안이 잘 작동하여 수정이 적음.
  • 낮은 유사도 그룹: 복잡한 문의나 맥락이 필요한 경우 LLM 이 일반화된 답변을 생성하거나 맥락을 오해하여 전문가가 대폭 수정함.
• 평균 점수:
  • SES (의미 유사성): 평균 0.4879 (0~1 범위). 중간 수준의 유사성을 보이지만, 하위 25% 는 0.27 미만으로 매우 낮음.
  • LAAJ (LLM 평가): 평균 3.63 (1~7 범위). 언어적 유사성은 높으나 의미적/해석적 유사성은 낮음.
• 상관관계: SES 와 LAAJ 점수 간 강한 양의 상관관계 (Pearson r = 0.81) 를 보임. 이는 두 측정 방법이 일관된 패턴을 포착하고 있음을 시사.

5. 결론 및 의의 (Conclusion & Significance)

• 핵심 결론:

  • 현재 LLM 은 해운 산업과 같은 안전 중시 (Safety-critical) 분야에서 독립적으로 사용되기에는 성숙도가 부족함.
  • LLM 은 인간 전문가를 대체하는 것이 아니라 보조 (Augment) 하는 도구로 가장 효과적임. 특히 초안 작성, 아이디어 발상, 언어 다듬기, 과거 사례 검색 지원에 유용.
  • 인간 감독 (Human Oversight) 은 필수적이며, 최종 책임은 인간 전문가에게 있어야 함.

• 실무적 시사점:

  • 데이터 통합 개선: 첨부 파일 처리, 실시간 데이터 접근, 최신 규정 반영 등 데이터 소스 확장 필요.
  • 피드백 루프: 사용자가 초안의 정확/부정확을 표시하여 모델을 지속적으로 학습시키는 시스템 도입 필요.
  • 신뢰 구축: 관리자의 지원과 투명한 개발 과정이 AI 수용에 결정적임.

• 학술적 의의:

  • 산업용 AI 의 실제 적용 사례를 통해 기술적 성능 (유사도) 과 인간 인식 (신뢰, 유용성) 간의 간극을 규명.
  • 단순한 자동화 지향에서 벗어나, 인간의 전문성과 AI 의 능력을 결합한 협업 중심 (Collaboration-first) 시스템 설계의 중요성을 강조.

이 연구는 고도로 전문화된 산업 환경에서 생성형 AI 를 도입할 때, 기술적 성능뿐만 아니라 인간의 업무 맥락, 신뢰, 그리고 규제 준수 요소를 어떻게 균형 있게 통합할지에 대한 중요한 통찰을 제공합니다.