What Does It Take to Research with AI? A Rapid Review of Competencies to Train LLM-Literate Researchers

과학의 세계를 연구자들이 사서 역할을 하는 거대하고 북적이는 도서관이라고 상상해 보십시오. 수십 년 동안 이 사서들에게는 엄격한 규칙이 있었습니다. 반드시 책을 찾고, 주의 깊게 읽고, 사실 관계를 확인한 뒤, 배운 내용을 바탕으로 자신만의 보고서를 작성해야 한다는 규칙입니다. 하지만 최근에 믿을 수 없을 정도로 빠르고 수다스러운 로봇 조수가 도서관에 도착했습니다. '거대 언어 모델(LLM)'이라 불리는 기술로 구동되는 이 로봇은 초당 수백만 권의 책을 읽고, 요약하며, 초안을 작성하고, 심지어 복잡한 퍼즐을 푸는 데 도움을 줄 수 있습니다. 마치 잠도 자지 않는 매우 똑똑한 인턴이 생긴 것과 같습니다.

하지만 함정이 있습니다. 이 로봇은 약간의 장난꾸러기 기질이 있습니다. 때로는 진실을 말하지만, 때로는 아주 자신만만하게 가짜 사실을 지어내기도 하며(연구자들이 '환각 현상'이라고 부르는 오류), 출처를 밝히지 않고 아이디어를 베끼기도 합니다. 그렇기에 중요한 질문은 단순히 "로봇이 우리를 도울 수 있는가?"가 아니라, "인간 사서들이 로봇을 통제하기 위해 어떤 기술을 갖춰야 하는가?"입니다. 만약 사서들이 자신들이 정리하는 책에 대해 충분히 알지 못한다면, 로봇이 보고서 전체를 쓰도록 내버려 두어 거짓말로 가득 찬 도서관을 만들 수도 있기 때문입니다. 이 논문은 연구자들이 자신의 정신과 진실을 잃지 않으면서 이러한 AI 로봇을 책임감 있게 사용하기 위해 정확히 어떤 기술이 필요한지를 다룹니다.

위대한 AI 탐정 찾기

한 연구팀은 뜨거운 질문에 답하기 위해 탐정이 되기로 했습니다. AI 도구를 효과적이고 비판적이며 책임감 있게 사용하는 연구자가 되기 위해 실제로 무엇이 필요한가? 그들은 단순히 추측하지 않았습니다. 2022년에서 2025년 사이에 발표된 194편의 논문을 훑어보는 신속한 검토 임무를 수행했습니다. 이 방대한 서류 더미 속에서, 그들은 사람들이 연구에 AI를 사용하는 실제 사례를 보여주는 40편의 논문을 신중하게 선정했습니다. 그런 다음 인간의 두뇌와 두 번째 AI 도구를 혼합하여 사용하여, 성공적인 연구자들이 공통적으로 가지고 있는 특정 '초능력' 또는 역량을 찾아냈습니다.

그들이 발견한 것은 8가지 필수 기술 목록이었습니다. 이것을 컴퓨터 코딩 기술이 아니라, 연구자가 단련해야 할 '정신적 근육'이라고 생각하십시오.

1. 전문가의 눈 (전문 지식 및 감독)
이 기술은 연구들 전반에서 123번 등장하며 가장 흔하게 발견되었습니다. AI 로봇을 모든 것에 대해 조금씩은 알지만 전문가는 아닌, 매우 빠르고 자신감 넘치는 투어 가이드라고 상상해 보십시오. 만약 여러분 스스로 그 지역을 잘 모른다면, 가이드가 가짜 폭포를 가리키며 "저것이 진짜입니다!"라고 말할 때 그 말을 믿을 수도 있습니다. 논문은 연구자들이 해당 분야의 진정한 전문가가 되어야 한다고 제안합니다. AI가 거짓말을 하거나, 출처를 지어내거나, 얕은 답변을 내놓을 때 이를 포착할 수 있을 만큼 주제에 대해 잘 알고 있어야 합니다. 로봇이 힘든 일을 대신 할 수는 있지만, "잠깐, 저건 좀 이상한데"라고 말하며 사실을 재확인해야 하는 것은 바로 인간입니다.

2. 스마트 스위치 (메타인지 및 의사결정)
55번 발견된 이 기술은 언제 로봇을 사용하고 언제 끌 것인지를 아는 것에 관한 것입니다. 이는 사진을 걸기 위해 전동 드릴을 사용할지 아니면 그냥 망치를 사용할지 결정하는 것과 같습니다. 연구자들은 최고의 과학자들이 AI가 업무 전체를 장악하도록 내버려 두지 않는다는 것을 발견했습니다. 그들은 어떤 연구 부분(예: 노트 정리)이 AI에게 안전한지, 그리고 어떤 부분(예: 최종 결론 도출)이 반드시 인간의 몫으로 남아야 하는지를 결정합니다. 이는 단순한 승객이 아니라 배의 선장이 되는 것에 관한 문제입니다.

3. 도덕적 나침반 (윤리, 개인정보 보호 및 청렴성)
53번 언급된 이 기술은 공정하게 행동하는 것에 관한 것입니다. AI를 사용하는 것은 단순히 답을 얻는 것이 아니라, 훔치거나, 거짓말하거나, 비밀을 유출하지 않고 사용하는 것을 의미합니다. 연구자들은 개인 데이터를 어떻게 보호할지, 자신이 로봇을 사용하여 논문의 일부를 작성했다는 사실을 어떻게 밝힐지, 그리고 실수로 표절을 하지 않도록 하는 방법을 알아야 합니다. 이는 계산기를 사용하여 수학 문제를 푸는 것과, 다른 사람이 대신 해주도록 하여 시험에서 부정행위를 하는 것의 차이와 같습니다.

4. 질문의 기술 (프롬프트 엔지니어링)
이 기술은 38번 등장했습니다. 만약 로봇에게 "과학에 대해 알려줘"와 같이 모호한 질문을 던진다면, 모호하고 지루한 답변을 얻게 될 것입니다. 하지만 "피자 비유를 들어서 12살 아이에게 상대성 이론을 설명해줘"라고 질문한다면 놀라운 결과를 얻을 수 있습니다. 이 기술은 AI와 대화하는 법을 배우는 것입니다. 이는 배우에게 지시를 내리는 감독이 되는 것과 같습니다. 여러분의 대본(프롬프트)이 더 좋을수록, 공연의 결과물도 더 좋아집니다. 연구자들은 유용한 결과를 얻기 위해 이러한 질문을 반복해서 다듬는 것이 핵심임을 발견했습니다.

5. 기록의 흔적 (재현성 및 보고)
29번 발견된 이 기술은 일기를 쓰는 것과 같습니다. 만약 AI 도구를 사용하여 정보를 찾는 데 도움을 받았다면, 무엇을 물어봤는지, 어떤 버전의 도구를 사용했는지, 그리고 그 작업 내용을 어떻게 확인했는지를 정확히 기록해야 합니다. 왜냐하면, 만약 다른 사람이 여러분의 실험을 반복하고 싶어 한다면, 여러분이 정확히 어떻게 했는지 볼 수 있어야 하기 때문입니다. 이는 마치 숲속에서 길을 잃지 않도록 빵 부스러기를 남기는 것과 같습니다.

6. 설계도 제작자 (방법론 및 실험 설계)
20번 언급된 이 기술은 AI를 켜기도 전에 프로젝트 전체를 계획하는 것에 관한 것입니다. 이는 벽돌을 한 장 쌓기 전에 건축 설계도를 그리는 것과 같습니다. 연구자들은 AI가 구조를 깨뜨리지 않고 적절히 들어맞도록 연구를 설계해야 합니다. 그들은 목표와 한계를 명확히 정의하여 로봇이 엉뚱한 곳으로 가서 늪 위에 집을 짓지 않도록 해야 합니다.

7. 기술 번역가 (AI 리터러시 및 기술적 지식)
흥ähr하게도, 이 기술은 덜 자주 언급되었으며(단 16번), 이것이 부족할 경우 위험 요소로 지목되었습니다. 이것은 연구자들이 AI를 처음부터 만들 수 있는 소프트웨어 엔지니어가 되어야 한다는 뜻이 아닙니다. 대신, 그들은 로봇이 어떻게 생각하는지, 그 한계는 무엇인지, 그리고 어떤 종류의 실수를 저지르는 경향이 있는지 이해해야 합니다. 이는 자동차 엔진을 만드는 법은 몰라도 자동차에 연료와 브레이크가 필요하다는 것을 아는 것과 같습니다. 이러한 기본적인 이해가 없다면, 자동차가 실제로 고장 났는데도 자율 주행을 믿고 맡겨버릴 수도 있습니다.

8. 데이터 탐정 (데이터 분석 및 해석)
단 7번 발견된 이 기술은 숫자를 계산하거나 데이터에서 패턴을 찾는 데 AI를 활용하는 것에 관한 것입니다. 그러나 논문은 명확히 밝히고 있습니다: 그 숫자들이 무엇을 '의미'하는지는 여전히 인간이 해석해야 한다는 것입니다. AI는 패턴을 찾을 수 있지만, 그 패턴이 중요한 것인지 아니면 단순한 우연인지 결정하는 것은 인간의 몫입니다.

전체적인 그림

저자들은 연구에서 AI를 사용하는 것이 단순히 새로운 도구를 배우는 것이 아니라, 더 나은, 더 비판적인 사고가가 되는 과정이라고 제al합니다. 가장 중요한 핵심은 여전히 인간이 주인이라는 점입니다. AI는 강력한 조수이지만, 인간의 판단력, 전문 지식, 그리고 책임감을 대체할 수는 없습니다. 만약 연구자가 '전문가의 눈'이나 '도덕적 나침반'을 갖추지 못한다면, AI는 그들을 잘못된 길로 인도할 수 있습니다.

논문은 학교와 교육 프로그램이 이 8가지 기술을 함께 가르쳐야 한다고 결론짓습니다. 단순히 학생들에게 프롬프트를 입력하는 법을 보여주는 것만으로는 부족합니다. 그들은 어떻게 답변에 의문을 제기할지, 어떻게 윤리적 태도를 유지할지, 그리고 어떻게 인간이 과정에 개입(human-in-the-loop)할지를 배워야 합니다. 로봇이 에세이를 쓰고 데이터를 분석할 수 있는 세상에서, 연구자가 가질 수 있는 가장 가치 있는 기술은 로봇을 언제 믿고 언제 자신의 뇌를 믿어야 하는지 아는 '지혜'입니다.