Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis

이 연구는 법률 분석과 같은 지식 집약적 분야에서 생성형 AI 의 생산성 향상을 위해서는 단순한 접근성 제공보다 사용자 교육이 필수적이며, 이를 통해 AI 활용률과 수행 성과가 모두 유의미하게 개선됨을 보여줍니다.

핵심

🤖 변호사도 AI 를 잘 쓰려면 '가이드'가 필요하다: 연구 결과 쉽게 풀이

이 논문은 **"인공지능 (GenAI) 을 그냥 주면 사람들이 더 잘 일할까, 아니면 혼란만 가중될까?"**라는 질문에 답하기 위해 진행된 흥미로운 실험 결과입니다.

간단히 말해, **"AI 라는 강력한 도구를 주더라도, 어떻게 써야 하는지 '사용 설명서'를 함께 줘야 진짜 실력이 올라간다"**는 결론입니다.

---

🎬 실험 배경: 법대생들의 '시험'

연구진은 홍콩 대학 법대 학생 164 명을 모아서 가상의 시험을 치르게 했습니다. 이 시험은 복잡한 사건에서 법적 쟁점을 찾아내고 분석하는 것이 과제였습니다. 학생들은 세 그룹으로 나뉘어 서로 다른 조건으로 시험을 봤습니다.

1. 그룹 1 (전통적): AI 는 못 쓰고, 기존 법률 데이터베이스만 사용.
2. 그룹 2 (방치형): AI 는 쓸 수 있지만, 어떻게 써야 할지 아무런 설명도 듣지 못함.
3. 그룹 3 (가이드형): AI 를 쓸 수 있고, 10 분짜리 짧은 '사용 교육' (비디오 + 퀴즈) 을 먼저 받음.

🍳 비유로 이해하기: "요리 도구 vs 요리사 교육"

이 실험 결과를 요리 상황에 비유해 볼까요?

• 그룹 1 (전통적): 오븐도 없고, 레시피도 없는 상태. 오직 손맛과 기억력만 믿고 요리를 합니다.
• 그룹 2 (방치형): 최신식 초고성능 오븐을 줬습니다. 하지만 "이 오븐은 어떻게 켜고, 온도는 어떻게 조절하며, 어떤 요리에 써야 맛있는지" 아무도 알려주지 않았습니다.
• 그룹 3 (가이드형): 최신식 오븐도 주고, "이 오븐은 이런 요리에 쓰면 10 배 더 맛있어진다"는 10 분짜리 요리 강습도 함께 줍니다.

📊 실험 결과: 무엇이 일어났을까?

1. AI 를 쓴 비율 (사용률)

• 그룹 2 (방치형): AI 가 있는데도 **26%**만 사용했습니다. "이게 내 문제를 해결해 줄까?", "실수하면 어떡하지?"라는 두려움 때문에 대부분 쓰지 않았습니다.
• 그룹 3 (가이드형): 교육을 받은 그룹은 **41%**로 사용률이 크게 늘었습니다. "어떻게 써야 안전하고 효과 있는지" 알았기 때문에 두려움이 사라진 것입니다.

2. 시험 성적 (생산성)

• 그룹 2 (방치형): AI 를 썼는데도 성적이 오히려 떨어졌습니다. (통계적으로 유의미하지는 않지만, 평균적으로 더 낮았습니다.)
  • 이유: AI 가 만들어준 답변을 맹신하거나, AI 와 대화하는 데 시간을 너무 많이 써서 정작 본질적인 분석을 못 했기 때문입니다. 마치 요리사가 오븐을 켜는 법을 몰라서 오븐을 켜고 기다리는 동안 식재료가 타버린 상황과 비슷합니다.
• 그룹 3 (가이드형): 교육을 받은 그룹은 성적이 약 0.27 점 (약 1/3 등급) 올랐습니다.
  • 이유: AI 를 '보조 도구'로만 적절히 활용했습니다. AI 가 초안을 짜주면, 학생들은 그걸 검토하고 수정하는 데 집중했습니다.

3. 답변의 길이

• 재미있게도, 교육을 받지 않고 AI 를 쓴 그룹 (그룹 2) 은 답변이 더 짧았습니다. AI 가 뱉어낸 내용을 그대로 베끼거나, AI 와 대화하는 데 지쳐서 내용을 적게 썼기 때문입니다.

---

🔍 핵심 통찰: 왜 이런 결과가 나왔을까?

연구진은 이 현상을 두 가지 이유로 설명합니다.

1. 사용 범위 확대 (Adoption): 교육을 받으면, "AI 는 위험할 거야"라고 생각하던 똑똑한 학생들도 "아, 이렇게 쓰면 안전하구나"라고 깨닫고 AI 를 쓰기 시작합니다.
2. 사용 효율성 (Effectiveness): 교육을 받으면 AI 가 뱉어낸 잘못된 정보 (할루시네이션) 를 걸러내고, 올바른 방향으로 질문을 던지는 법을 배웁니다.

결론적으로:

• AI 만 주면: 사람들은 두려워서 쓰지 않거나, 잘못 써서 오히려 실력이 떨어집니다.
• AI + 교육: 사람들은 AI 를 두려워하지 않고, 전문가의 '조수'처럼 잘 활용하여 실력이 향상됩니다.

💡 이 연구가 우리에게 주는 교훈

이 논문은 법률 분야뿐만 아니라 모든 전문직에 중요한 메시지를 줍니다.

"최신 기술을 도입할 때, 기술 자체를 구매하는 것만으로는 부족합니다. 직원들에게 **'이 기술을 어떻게 써야 우리 일에 도움이 되는지'**에 대한 교육 (가이드) 을 함께 투자해야 진짜 생산성이 올라갑니다."

AI 는 마법 지팡이가 아니라, 잘 다듬으면 요술 방망이가 되지만, 잘못 잡으면 자칫 다칠 수 있는 날카로운 칼과 같습니다. 이 칼을 어떻게 잡을지 가르쳐 주는 '교육'이 바로 그 차이를 만듭니다.

기술 요약

1. 연구 문제 (Problem)

생성형 인공지능 (GenAI) 은 전문직의 노동 생산성을 혁신할 잠재력을 지니고 있으나, 실제 법률 분야에서의 도입은 신중하고 불균등하게 이루어지고 있습니다. 주요 쟁점은 다음과 같습니다.

• 신뢰성과 오류 비용: 법률 업무는 높은 정확성이 요구되며, AI 의 환각 (hallucination) 이나 사실 왜곡은 치명적인 결과를 초래할 수 있어 전문가들이 도입을 꺼립니다.
• 훈련의 부재: 많은 연구가 AI 도구의 기술적 능력을 입증했으나, **사용자 훈련 (User Training)**이 실제 생산성 향상과 채택 결정에 미치는 인과적 영향을 규명한 실증 연구는 부족합니다.
• 핵심 질문: "표적화된 사용자 훈련이 전문직 환경에서 생성형 AI 의 생산적 잠재력을 unlocking(해방) 시킬 수 있는가?"

2. 연구 방법론 (Methodology)

저자들은 홍콩 대학교 법학부 학생 (LLB 및 JD) 164 명을 대상으로 한 **무작위 통제 실험 (Randomized Controlled Trial, RCT)**을 수행했습니다.

• 실험 설계: 참가자를 3 개의 그룹으로 무작위 배정하여 계약법 관련 '이슈 스포팅 (issue-spotting)' 모의 시험을 치르게 했습니다.
  1. 대조군 (Group 1): GenAI 접근 불가 (전통적 법률 데이터베이스 Westlaw 만 사용).
  2. 통제군 (Group 2): GenAI (DeepSeek) 접근 가능 하지만 사용법 훈련 없음.
  3. 실험군 (Group 3): GenAI 접근 가능 + 약 10 분의 훈련 개입 ( instructional video 및 퀴즈).
     • 훈련 내용: 프롬프트 반복, 체인 오브 씽킹 (Chain-of-Thought) 기법, 긍정/부정 피드백 제공, AI 의 확률적 특성 이해, 출력물 검증의 중요성 강조 등.
• 측정 지표:
  • 채택률 (Adoption): 참가자가 DeepSeek 을 실제로 사용했는지 (자기 보고).
  • 성과 (Performance): 시험 점수 (Grade Point, 1~4.3), 놓친 이슈 수, 답변 길이, 가독성 (Flesch-Kincaid 점수).
• 분석 기법:
  • 전통적인 통계 검정 (t-test) 을 통해 그룹 간 차이 분석.
  • 주요 계층화 (Principal Stratification): 훈련의 효과가 '채택 확대 (Adoption effect)'를 통한 것인지, 아니면 '기존 사용자의 효과성 향상 (Effectiveness effect)'을 통한 것인지 분리하여 추정하기 위해 사용.

3. 주요 결과 (Key Results)

A. 채택률 (Adoption)

• 훈련을 받은 그룹 (Group 3) 의 AI 사용률은 **41.38%**로, 훈련 없이 접근만 허용된 그룹 (Group 2) 의 **26.32%**보다 통계적으로 유의미하게 높았습니다 (p = 0.044).
• 이는 훈련이 AI 사용에 대한 심리적 장벽이나 불확실성을 낮추어 채택을 촉진함을 시사합니다.

B. 시험 성과 (Performance)

• 훈련 vs. 무훈련: 훈련을 받은 그룹 (Group 3) 은 훈련 없이 접근만 허용된 그룹 (Group 2) 보다 평균 0.27 점 더 높은 점수를 받았습니다 (p = 0.027). 이는 약 1/3 등급 (letter grade) 의 차이에 해당합니다.
• 접근만 허용된 그룹의 역효과: 훈련 없이 AI 에만 접근한 그룹 (Group 2) 은 훈련이 없는 대조군 (Group 1) 보다 점수가 약간 낮았으며, 답변 길이가 유의미하게 짧았습니다. 이는 훈련 없이 AI 를 사용할 경우 비생산적인 상호작용이나 의존성이 발생할 수 있음을 시사합니다.
• 답변의 질: 훈련을 받은 그룹의 답변이 더 길어지거나 가독성이 크게 향상되지는 않았으나, 전체적인 점수 향상은 명확했습니다.

C. 메커니즘 분석 (Principal Stratification)

• 훈련이 생산성 향상에 기여한 경로를 분석한 결과, **채택 확대 (Adoption channel)**가 주된 요인일 가능성이 높았습니다.
• 즉, 훈련은 기존에 AI 를 사용하려 하지 않았던 고능력 사용자들을 유인하여 (Induced users) AI 를 사용하게 함으로써 전체적인 생산성을 높인 것으로 보입니다.
• 반면, 이미 AI 를 사용하던 사용자 (Always users) 의 효과성 향상 효과는 점수 추정이 광범위하여 통계적으로 명확히 입증되지는 않았으나, 채택 확대 효과가 더 우세한 것으로 나타났습니다.

4. 주요 기여 (Key Contributions)

1. 훈련의 인과적 효과 입증: AI 도구 접근성만으로는 생산성이 향상되지 않으며, **상호 보완적 투자 (Complementary Investment)**로서의 사용자 훈련이 필수적임을 실증적으로 증명했습니다.
2. 채택과 효과성의 분리: 기존 연구들이 혼재시켰던 '사용 여부 (Extensive margin)'와 '사용의 질 (Intensive margin)'을 분리하여, 훈련이 주로 채택 범위 확대를 통해 작동함을 밝혔습니다.
3. 법률 교육 및 실무에 대한 시사점: 법률 교육 과정에 AI 리터러시 (프롬프트 엔지니어링, 검증 방법 등) 를 필수적으로 포함해야 하며, 법률팀은 기술 도입과 동시에 인적 자본 (훈련) 에 투자해야 함을 강조했습니다.
4. 기술 - 노동 경제학 논의 확장: 고숙련 노동자 (High-skill workers) 가 AI 에 의해 대체되는 것이 아니라, 적절한 훈련을 통해 AI 와 협력하여 비정형적 (Non-routine) 과제를 수행할 수 있음을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 연구는 생성형 AI 가 지식 집약적 분야에서 생산성을 높이기 위해서는 **기술 자체의 발전뿐만 아니라, 인간이 기술을 어떻게 활용하는지에 대한 교육 (Human-in-the-loop)**이 결정적임을 보여줍니다.

• 정책적 함의: AI 도입 실패의 주된 원인은 기술의 한계가 아니라, 사용자의 부적절한 활용 방식임을 시사합니다. 따라서 조직은 AI 도구 배포와 병행하여 체계적인 훈련 프로그램을 마련해야 합니다.
• 이론적 함의: 기술 변화가 고숙련 직종에 미치는 영향에 대한 기존 이론을 수정합니다. 훈련이 부재할 경우 고숙련 전문가는 AI 를 기피하지만, 훈련이 제공되면 AI 를 적극적으로 활용하여 생산성을 극대화할 수 있습니다.
• 한계 및 향후 과제: 실험 환경이 모의 시험에 국한되어 있으며, 장기적인 학습 효과나 조직적 차원의 도입 장벽에 대한 연구는 향후 필요하다고 지적합니다.

요약하자면, 이 논문은 "AI 도구만 제공하는 것은 충분하지 않으며, 효과적인 사용을 위한 표적화된 훈련이 생산성 향상의 핵심 열쇠이다"라는 강력한 메시지를 전달합니다.