How Researchers Navigate Accountability, Transparency, and Trust When Using AI Tools in Early-Stage Research: A Think-Aloud Study
이 논문은 연구자들이 초기 연구 단계에서 AI 도구를 사용할 때 발생하는 책임성, 투명성, 신뢰의 문제를 실시간 사고 구술(think-aloud) 연구를 통해 분석하여, AI의 확신에 찬 어조와 불투명한 정보 출처가 연구자의 판단을 어떻게 저해하는지 밝히고 이를 보완하기 위한 전략의 필요성을 강조합니다.
원저자:Sanjana Gautam, Houjiang Liu, Yujin Choi, Matthew Lease
연구를 시작하는 단계는 마치 **'세상에 없던 새로운 요리를 개발하려는 셰프'**와 같습니다. 어떤 재료(논문)가 신선한지, 어떤 맛(연구 방향)을 낼지 결정해야 하죠. 최근에는 이 과정에서 AI라는 '보조 요리사'를 많이 부릅니다. 그런데 이 보조 요리사가 아주 똑똑해 보이긴 하지만, 몇 가지 골치 아픈 문제를 일으킵니다.
1. "자신만만한 거짓말쟁이" (책임감 문제 - Accountability)
이 보조 요리사는 아주 큰 문제가 하나 있습니다. 바로 **'모르는 것도 아는 것처럼 아주 당당하게 말한다'**는 거예요.
상황: 셰프가 "이 재료의 유통기한이 언제까지야?"라고 물으면, 보조 요리사는 사실 확인도 안 된 재료를 가져오면서도 "네, 아주 신선합니다!"라고 아주 확신에 찬 목소리로 대답합니다.
문제: 만약 이 재료로 요리를 했다가 손님이 배탈이 나면, 결국 책임은 '셰프'가 집니다. 보조 요리사는 "전 시키는 대로 했을 뿐이에요"라고 말할 뿐이죠. 그래서 연구자들은 AI의 말을 곧이곧대로 믿지 못하고, 아주 사소한 심부름(재료 정리 등)에만 AI를 쓰고 핵심적인 결정은 직접 내리려고 애를 씁니다.
2. "비밀 레시피를 어디서 가져왔는지 모름" (투명성 문제 - Transparency)
요리를 하려면 재료가 어디서 왔는지, 어떤 과정을 거쳤는지 명확해야 합니다.
상황: 보조 요리사가 갑자기 "이 소스는 정말 맛있어요!"라며 소스를 가져왔는데, 정작 "그 소스 어디서 샀어요? 어떻게 만든 거예요?"라고 물으면 "그냥요, 제가 알아서 가져왔어요"라고 답하며 입을 꾹 다뭅니다. (이것을 논문에서는 '블랙박스'라고 부릅니다.)
문제: 연구는 '근거'가 생명입니다. AI가 요약해준 내용이 진짜 논문에 있는 내용인지, 아니면 AI가 자기 마음대로 버무린 '가짜 소스(환각 현상)'인지 알 길이 없습니다. 그래서 연구자들은 AI가 가져온 재료를 일일이 다시 확인하느라 오히려 시간이 더 걸리는 '이중 작업'을 하고 있습니다.
3. "맛이 다 똑같아지는 문제" (신뢰 문제 - Trust)
셰프는 요리의 '깊은 맛'과 '독창성'을 중요하게 생각합니다.
상황: 보조 요리사가 만든 요리들은 다 맛있긴 한데, 먹어보면 맛이 다 비슷비슷하고 뻔합니다. 아주 깊은 풍미나 새로운 시도는 없고, 그냥 적당히 무난한 맛만 내는 거죠.
문제: 연구자들은 AI를 쓰다 보면 연구의 깊이가 얕아질까 봐 걱정합니다. AI가 요약해주는 방식이 너무 뻔해서, 연구의 독창적인 아이디어가 사라질 것 같기 때문입니다. 그래서 연구자들은 AI를 완전히 믿기보다는, "이 정도까지만 도와줘"라며 적당한 거리를 두는 '밀당(Hedging)'을 하고 있습니다.
💡 요약하자면?
이 논문은 **"AI가 연구를 엄청나게 빠르게 도와줄 수는 있지만, 아직은 믿고 맡기기엔 너무 '자신만만한 허풍쟁이'이자 '불투명한 조수'이다"**라는 것을 보여줍니다.
그래서 연구자들은 AI에게 모든 걸 맡기는 대신, **AI를 '똑똑한 비서' 정도로만 활용하며, 중요한 결정과 검증은 끝까지 인간 연구자가 직접 챙기는 '방어적인 전략'**을 쓰고 있다는 것이 이 연구의 핵심 결론입니다.
[기술 요약] 초기 단계 연구에서 AI 도구 사용 시 연구자의 책임성, 투명성 및 신뢰 탐색 연구
1. 문제 정의 (Problem Statement)
최근 대규모 언어 모델(LLM) 기반의 AI 도구들이 문헌 탐색, 아이디어 생성, 연구 계획 등 과학 연구의 초기 단계에 급격히 통합되고 있습니다. 기존의 계산 도구들이 연구자의 인지적 부담을 줄여주는 '보조 도구(Cognitive Scaffold)' 역할에 머물렀다면, 최신 AI는 연구 과정에 직접 참여하는 '인식론적 참여자(Epistemic Participant)'로 진화하고 있습니다.
이러한 변화는 다음과 같은 책임 있는 AI(Responsible AI, RAI) 측면의 핵심적인 문제를 야기합니다:
책임성(Accountability)의 모호함: AI가 생성한 결과물에 대해 연구자가 어디까지 책임을 지고 정당화할 수 있는가?
투명성(Transparency)의 결여: AI가 정보를 어떻게 검색하고, 요약하며, 논리적 구조를 구축하는지 알 수 없는 '블랙박스' 문제.
신뢰(Trust)의 취약성: AI의 확신에 찬 어조와 실제 사실 사이의 괴리(환각 현상 등)로 인해 발생하는 신뢰 구축의 어려움.
본 연구는 연구자들이 실제 연구 워크플로우 내에서 이러한 세 가지 차원의 문제를 어떻게 실시간으로 인지하고 대응하는지 탐구합니다.
2. 연구 방법론 (Methodology)
연구진은 연구자의 실시간 인지 과정을 포착하기 위해 **사고 구술법(Think-Aloud Study)**을 채택하였습니다.
참가자: 다양한 학문 분야의 연구자 15명 (박사 과정생, 포스트닥터, 교수, 산업계 연구원 포함).
사용 도구: 상용화된 두 가지 대표적 AI 도구 사용.
Research Rabbit: 그래프 기반 문헌 발견 도구 (탐색 중심).
Elicit AI: LLM 기반 문헌 합성 및 요약 도구 (합성 중심).
실험 절차: 5단계의 실무 중심 태스크 수행.
새로운 도메인 탐색.
연구 스레드(Thread) 식별 및 개요 작성.
심층적 스레드 탐색 및 연구 질문 브레인스토밍.
AI 생성 요약 및 개요의 품질 평가.
개인적 워크플로우에 대한 성찰 인터뷰.
데이터 분석: 귀납적 코딩(Inductive Coding)을 통해 주제를 도출하고 반복적인 정제 과정을 거쳐 테마를 확정.
3. 주요 연구 결과 (Key Results)
연구 결과는 책임성, 투명성, 신뢰라는 세 가지 축을 중심으로 다음과 같은 긴장 관계와 보상 전략(Compensatory Strategies)을 보여줍니다.
① 책임성 (Accountability)
긴장 관계: AI의 **확신에 찬 어조(Assertive tone)**와 과학적 탐구의 본질인 불확실성(Uncertainty) 사이의 불일치. AI는 틀린 답도 매우 자신 있게 말하므로, 연구자는 결과의 타당성을 검증해야 하는 추가적인 책임 부담을 안게 됨. 또한, 연구자의 미발표 아이디어가 AI 학습에 사용될 수 있다는 데이터 거버넌스 문제도 제기됨.
보상 전략: AI를 핵심적인 인식론적 작업(가설 설정 등)이 아닌, 조직적이고 주변적인 작업(노트 정리, 단순 요약 등)으로 제한하여 인간의 최종 판단권을 유지함.
② 투명성 (Transparency)
긴장 관계: 정보 검색 경로와 논리적 구성 과정이 보이지 않는 블랙박스 문제. 특히 '환각(Hallucination)'은 단순한 오류를 넘어, 출처를 잘못 매칭하거나(Attribution displacement) 사실과 허구를 교묘하게 섞는(Synthetic blending) 등 투명성 실패의 핵심 사례로 나타남.
보상 전략: 저자의 명성이나 논문의 권위지를 활용한 사회적 신뢰성 휴리스틱(Social credibility heuristics) 사용, 반복적인 수동 검증(Manual verification), 그리고 더 구체적인 정보를 요구하는 제약적 프롬프팅(Constrained prompting) 수행.
③ 신뢰 (Trust)
긴장 관계: 신뢰가 안정적이지 않고 맥락 의존적이며 매우 취약함. 또한, AI가 생성한 결과물이 지나치게 일반적이고 평이하여(Output homogenization) 연구의 지적 깊이를 저해한다는 인식이 있음.
보상 전략: AI의 내부 논리를 역으로 추적하는 **논리적 감사(Logical auditing)**를 통해 점진적으로 신뢰를 구축하거나, 위험도가 낮은 작업에만 AI를 사용하는 헤징(Hedging) 전략을 사용함.
4. 연구의 의의 및 기여 (Significance & Contributions)
실증적 근거 제시: 추상적인 윤리적 담론을 넘어, 실제 연구 현장에서 연구자들이 AI와 상호작용하며 겪는 구체적인 인지적/실무적 갈등을 실시간(In-situ) 데이터로 입증함.
인지적 부담의 재발견: AI가 연구 효율성을 높여줄 것이라는 기대와 달리, 실제로는 AI의 오류를 검증하고 신뢰도를 측정하기 위해 연구자에게 **추가적인 인지적 부하(Cognitive burden)**를 지우고 있음을 밝힘.
설계 지침 제공: 향후 과학 연구용 AI 도구는 단순한 성능 향상을 넘어, **검증 가능성(Verifiability), 메타데이터 제공, 워크플로우의 연속성(Workflow continuity)**을 지원하는 방향으로 설계되어야 함을 시사함.
RAI 프레임워크 확장: 책임성, 투명성, 신뢰라는 RAI 개념을 과학적 실천(Scientific practice)이라는 특수한 맥락에 맞게 구체화함.