How Software Engineering Students Use LLMs to Write Research Papers: An Experience Report
이 경험 보고서는 학생들이 브레인스토밍 및 작문과 같은 과업을 위해 대규모 언어 모델을 실증적 연구 과제에 어떻게 통합하는지 보여주는 동시에 콘텐츠의 정확성 및 검증에 관한 학생들의 우려를 강조하기 위해, 3학년 소프트웨어 아키텍처 과목에서 수집된 146건의 학생 공개 성명서를 분석한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
소프트웨어 공학 학생들이 짧은 연구 보고서를 작성하도록 하는 한 강의실을 상상해 보십시오. 교사들은 인공지능(AI) 사용을 금지하는 대신, 학생들에게 AI를 자유롭게 사용하게 하되 한 가지 중요한 규칙을 정했습니다: 어떻게 AI를 사용했는지 정확히 밝혀야 한다는 것입니다.
이 논문은 그 수업에서 일어난 일을 기록한 "일기"나 "영수증"과 같습니다. 연구진은 학생들이 보고서를 마친 후 작성한 146개의 노트를 검토하여, 강의실에서 AI 사용이 허용되었을 때 실제로 어떤 일이 벌어졌는지 살펴보았습니다.
그들이 발견한 이야기를 다음과 같이 쉬운 개념들로 나누어 설명합니다.
1. 과제: 증거의 집 짓기
학생들은 단순히 의견을 쓰는 것이 아니라 탐정처럼 행동해야 했습니다. 그들은 소프트웨어 설계에 관한 특정 질문에 답하기 위해 증거(학술 저널 또는 온라인 기술 포럼에서 추출)를 찾아야 했습니다. 이것은 집을 짓는 것과 비슷합니다. 벽돌(증거)을 모으고, 레이아웃을 계획하고(방법론), 설계도(논문)를 작성해야 했습니다.
2. "맥가이버 칼"로서의 AI
학생들은 단순히 AI에게 논문을 대신 써달라고 시킨 것이 아니었습니다. 대신 그들은 다양한 작업을 수행하기 위해 AI를 다용도 도구인 맥가이버 칼처럼 사용했습니다.
- 다듬기 도구 (가장 흔한 사례): 가장 빈번한 사용 방식은 전문 편집자를 고용하는 것과 같았습니다. 학생들은 문법을 수정하고, 어색한 문장을 매끄럽게 다듬으며, 논문이 전문적으로 보이도록 하는 데 AI를 사용했습니다. 이는 "마지막 페인트칠" 작업이었습니다.
- 브레인스토밍 파트너: 논문 시작 단계에서 주제를 정하지 못해 막혔을 때, 학생들은 AI에게 "멋진 아이디어 몇 가지만 알려줘"라고 물었습니다. AI는 새로운 생각을 자극하는 창의적인 파트너 역할을 했습니다.
- 번역가: 일부 학생들은 기술적인 개념을 이해하는 데 어려움을 겪었습니다. 그들은 AI에게 "이 복잡한 개념을 쉬운 영어로 설명해 줘"라고 요청하며 개인 튜터처럼 활용했습니다.
- 정리 도구: 엉망인 메모 더미가 생겼을 때, 학생들은 AI에게 이를 깔끔한 카테고리로 분류해 달라고 요청했습니다. 마치 지저도한 옷장을 정리하는 것과 같았습니다.
- 품질 관리 체크: 몇몇 학생들은 자신의 연구 방법이 다른 사람들이 따라올 수 있을 만큼 명확한지 확인하기 위해 AI를 사용했습니다.
3. "신뢰하되 검증하라"는 규칙
학생들은 AI의 도움을 매우 좋아했지만, 맹목적으로 따르지는 않았습니다. 이 논문은 학생들이 AI의 결함을 매우 잘 인지하고 있었음을 보여줍니다.
AI를 매우 자신만만하지만 가끔은 건망증이 있는 사서라고 생각해보십시오. AI는 책을 가져다줄 수는 있지만, 때로는 책 제목이나 저자를 지어내기도 합니다.
- 문제점: 학생들은 AI가 가끔 "환각 현상(hallucination)"을 일으키거나(사실을 지어냄), 자신들의 단어 의미를 원치 않는 방식으로 바꾸어 놓는다고 보고했습니다.
- 해결책: 학생들은 단순히 복사해서 붙여넣지 않았습니다. 그들은 편집국장처럼 행동했습니다. 그들은 AI가 제안한 모든 것을 읽고, 그것이 사실인지 확인했으며, 오류를 수정했습니다. 그들은 단순히 기계에 사고를 외주 줄 수 없으며, 스스로 조종간을 잡고 있어야 한다는 점을 깨달았습니다.
4. 교사들이 배운 점
이 실험의 핵심 결론은, 학생들에게 "AI를 사용해도 좋지만, 그것에 대해 정직하게 밝혀야 한다"라고 말할 때, 학생들이 단순히 부정행위를 위해 사용하는 것이 아니라 AI를 협력자로 사용한다는 것입니다.
- 그들은 AI가 다듬고 정리하는 데 유용하다는 것을 배웠습니다.
- 그들은 AI가 완벽한 논문을 써주는 마법의 버튼이 아니라는 것을 배웠습니다.
- 그들은 사실을 검증하고 논문의 "영혼"을 유지하기 위해 여전히 자신들이 필요하다는 것을 배웠습니다.
결론
이 논문은 AI가 글쓰기의 미래라고 말하거나, AI를 금지해야 한다고 말하는 것이 아닙니다. 이는 학생들이 AI를 공개적으로 사용할 수 있고 그 사용에 대해 성찰하도록 요청받았을 때, 그들이 AI를 대체재가 아닌 강력한 조수로 대했다는 것을 보여주는 성적표입니다. 그들은 작업을 더 낫게 만들기 위해 AI를 사용하지만, 정확성을 확인하기 위해 끊임없이 조수의 작업을 점검하며 프로젝트의 주인으로서 역할을 유지합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.