Exploring the use of generative AI advice for the academic advancement of faculty
본 논문은 싱헬스 듀크-NUS(SingHealth Duke-NUS) 학술 의료 센터의 2,800명 이상의 임상 교수진을 대상으로 학술 경력 지도를 효율화하고 승진 및 종신 재직권(tenure) 과정의 투명성을 높이기 위해 설계된 AI 기반 도구인 "AskADD"의 개발 및 사용자 테스트에 대해 보고한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
당신은 대형 대학 병원의 의사라고 상상해 보세요. 당신은 어떻게 하면 승진을 하거나 정년 보장(종신직)을 받을 수 있는지 알고 싶습니다. 문제는 이 "규칙집"이 한 권의 읽기 쉬운 책으로 되어 있는 것이 아니라, 병원 내부 웹사이트 깊숙한 곳에 숨겨진 30개의 서로 다른 문서로 흩어져 있다는 점입니다. 적절한 규칙을 찾는 것은 거대하고 무질서한 건초더미 속에서 특정 바늘을 찾는 것과 같으며, 시간이 매우 오래 걸립니다.
이를 해결하기 위해 연구진은 **AskADD라는 이름의 디지털 "스마트 비서"**를 만들었습니다. 이 도구는 모든 30개의 문서를 다 읽고 당신의 질문에 즉각적으로 답할 수 있는, 매우 빠르고 박학다식한 사서라고 생각하면 됩니다. 이 사서는 24시간 내내 당신 곁에 있습니다.
이들이 이 도구를 어떻게 테스트했는지, 그리고 무엇을 발견했는지 쉽게 설명해 드립니다.
2단계 시승 테스트
연구팀은 단순히 도구를 출시한 것이 아니라, 자동차 제조사가 신모델을 테스트하는 것처럼 두 차례에 걸쳐 테스트를 진행했습니다.
"알파(Alpha)" 테스트 (프로토타입):
- 그들은 기본 레고 세트와 같은 표준적인 기성 도구들을 사용하여 첫 번째 버전을 만들었습니다.
- 35명의 교수진에게 이를 사용해 보라고 요청했습니다.
- 결과: 사서는 도움이 되었지만 다소 서툴렀습니다. 사용자들이 질문을 두 번 반복하거나 질문을 다시 표현해야 하는 경우가 많았는데, 이는 비서가 사용자의 의도를 완전히 "이해"하지 못했기 때문입니다. 시간을 일부 절약해주기는 했지만 완벽하지는 않았습니다. 사용자들은 "괜찮다"고 느꼈지만, 아직 동료들에게 이 도구를 추천하고 싶을 만큼 열광적이지는 않았습니다.
"베타(Beta)" 테스트 (다듬어진 버전):
- 연구팀은 불만 사항에 귀를 기울였습니다. 그들은 사서의 두뇌 역할을 하는 부분을 "커스텀 AI"(더 발전된 형태의 챗봇 두뇌)로 업그레이드했습니다. 또한 원본 문서로 연결되는 링크가 끊어지는 기술적 결함들도 수정했습니다.
- 그들은 동일한 35명에게 다시 한번 사용해 보라고 요청했습니다.
- 결과: 업그레이드는 놀라운 효과를 가져왔습니다.
- 속도: 답변을 더 빠르게 얻을 수 있었습니다.
- 명확성: 사람들이 질문을 다시 표현해야 하는 일이 줄어들었습니다.
- 신뢰: 사용자들은 비서가 더 "공감적"(더 인간적이고 도움이 되는 말투)이라고 느꼈습니다.
- 추천: 이 도구를 동료에게 추천하겠다는 사람의 수가 두 배 이상 늘어났습니다.
사람들은 실제로 무엇을 좋아했을까요?
연구진은 교수진이 다음 세 가지 주요 이유로 이 도구를 좋아한다는 것을 발견했습니다.
- 시간 절약: 30개의 문서를 뒤지는 대신, 몇 초 만에 직접적인 답변을 얻었습니다.
- "지도" 기능: 두 번째 단계에서 비서는 원본 규칙집으로 연결되는 직접적인 링크를 제공하기 시작했습니다. 이는 매우 중요했는데, 사용자가 정보를 직접 검증할 수 있게 하여 신뢰를 쌓아주었기 때문입니다.
- "인간적인" 느낌: 업그레이드된 버전은 로봇이라기보다 도움이 되는 가이드처럼 느껴졌고, 덕분에 사람들은 대화를 더 즐길 수 있었습니다.
여전히 부족한 점은 무엇일까요?
이 도구는 성공적이었지만, 사용자들은 미래를 위한 몇 가지 바람을 남겼습니다.
- 개인화: 그들은 비서가 자신의 이력서를 살펴보고, "승진을 위해 당신에게 부족한 점은 바로 이것입니다"라고 말해주기를 원했습니다. 현재의 도구는 개인정보 보호 규칙 때문에 (아직 개인의 고용 데이터를 볼 수 없으므로) 일반적인 조언만 제공합니다.
- 더 많은 주제: 그들은 단순히 승진 규칙뿐만 아니라 일반적인 경력 개발 및 인사(HR) 관련 질문까지 다루기를 원했습니다.
핵심 요약
이 논문은 "AskADD" 도구가 성공적인 실험임을 결론짓고 있습니다. 이 도구는 의사들이 끝없는 파일을 찾아 헤매지 않고도 복잡한 경력 규칙을 탐색할 수 있도록 돕는, 보안이 철저한 AI 기반 가이드를 구축할 수 있음을 증명했습니다.
하지만 연구진은 이 도구가 특정 도시(그들의 병원)를 위해 만들어진 특화된 GPS와 같다고 경고합니다. 이 도구가 그곳에서 잘 작동하는 이유는 그곳의 특정 지도와 규칙을 바탕으로 만들어졌기 때문입니다. 다른 병원들은 자신들의 "도시 지도"(정책)와 "도로"(IT 시스템)가 다르기 때문에 이 모델을 그대로 복사해서 붙여넣기(copy-paste) 할 수는 없을 것입니다.
요약하자면: 그들은 시간을 절약하고 좌절감을 줄여주는 스마트한 24시간 경력 가이드를 만들었습니다. 아직 완벽하지는 않지만, 30개의 파일을 일일이 검색하던 과거의 방식에 비하면 엄청난 진전입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.