Auditing Student-AI Collaboration: A Case Study of Online Graduate CS Students

이 논문은 온라인 대학원생의 생성형 AI 활용 실태와 선호도를 혼합 방법론으로 분석하여, 현재 AI 기술의 기능과 학생들의 기대 수준 간의 격차를 규명하고 교육용 AI 시스템의 신뢰성 및 효과성 향상을 위한 방향을 제시합니다.

핵심

🚗 연구의 핵심: "내비게이션은 어디까지 믿을 것인가?"

이 연구는 조지아 공대 (Georgia Tech) 의 컴퓨터 과학 대학원생 44 명을 대상으로 했습니다. 연구자들은 학생들에게 **"수업 과제를 할 때 AI 를 얼마나 믿고 맡기고 싶은가?"**와 **"실제로 AI 를 얼마나 쓰고 있는가?"**를 12 가지 다른 상황 (과제) 에 대해 물어봤습니다.

이를 마치 운전자가 **"내비게이션이 어디까지 길을 안내해 주길 바라는가?"**와 **"실제로 내비게이션을 얼마나 믿고 따라가는가?"**를 비교하는 것과 같습니다.

🔍 1. 발견된 4 가지 '동업' 구역 (학생들의 마음)

연구진은 학생들의 '원하는 정도'와 '실제 사용'을 비교해 4 가지 구역으로 나눴습니다.

1. 🟢 '녹색 신호' 구역 (잘 맞는 곳):

   • 상황: 문법 교정, 인용구 정리, 코드 오류 찾기 등.
   • 비유: "내비게이션이 '앞으로 500m 우회전'이라고 알려주면, 나도 그렇게 해."
   • 결과: 학생들이 AI 를 많이 쓰기도 하고, 쓰길 원하기도 합니다. AI 가 잘하는 일이라서 서로 신뢰가 갑니다.

2. 🔴 '적색 신호' 구역 (거부하는 곳):

   • 상황: 논리적 추론이 필요한 복잡한 수학 문제 풀이, 창의적인 아이디어 발상 등.
   • 비유: "내비게이션이 '이 길로 가라'고 해도, 내가 직접 지도를 보고 판단해야 해. 실수하면 큰일 나니까."
   • 결과: AI 가 할 수 있어도, 학생들은 "아직은 내가 직접 해야겠다"며 AI 를 쓰지 않습니다. 실수할까 봐 무서워서입니다.

3. 🔧 '연구 개발 (R&D)' 구역 (원하지만 못 쓰는 곳):

   • 상황: 개인화된 학습 계획 세우기, 강의 자료 추천하기 등.
   • 비유: "내비게이션이 '오늘 날씨에 맞는 최적의 코스'를 짜줬으면 좋겠는데, 아직 그 기능이 안 되네."
   • 결과: 학생들은 AI 가 이렇게 도와주길 원하지만, 현재 AI 기술이 그 수준에 미치지 못해 아쉽게도 못 씁니다.

4. ⚪ '저우선' 구역 (별로 필요 없는 곳):

   • 상황: AI 가 할 필요도 없고, 학생들도 원하지 않는 단순한 일들.

🧐 2. 왜 이렇게 조심스러운 걸까? (이유와 걱정)

학생들이 AI 를 쓸 때 가장 큰 동기는 **"시간 절약"**과 **"머리 식히기 (인지 부하 감소)"**입니다. 하지만 동시에 큰 걱정도 있습니다.

• 문장 다듬기, 요약하기: "빨리 끝내서 시간 아끼고, 문장만 다듬어 주면 돼." (걱정 적음)
• 아이디어 내기, 복잡한 문제 풀기: "AI 가 엉뚱한 답을 주면 내가 그걸 모르고 써버릴까 봐 무서워." (걱정 큼)
  • 특히 창의적인 아이디어를 AI 가 대신 내주면, "내가 진짜 배운 게 뭐지?"라는 생각이 듭니다.
  • 수학/코딩에서는 AI 가 틀린 답을 '정답처럼' 말하면 (할루시네이션), 학생들은 그걸 구별하기 어렵기 때문에 매우 경계합니다.

💡 3. 학생들이 원하는 '이상적인 AI'는 어떤 모습일까?

학생들은 AI 가 "내가 다 해줄게!"라고 자만하는 것보다, **"나는 여기까지 도와줄 수 있고, 여기는 내가 확인해 봐야 해"**라고 솔직하게 말하는 것을 원했습니다.

연구 결과, 학생들은 다음과 같은 기능을 기대했습니다:

1. 출처 공개 (내비게이션의 '왜 이 길?'): "이 정보를 어디서 가져왔는지 링크를 보여줘. 내가 직접 확인하고 싶으니까."
2. 불확실성 표시 (내비게이션의 '정확도'): "이건 90% 확률로 맞는 거야, 아니면 50% 라서 다시 확인해 봐."라고 솔직하게 알려줘야 함.
3. 생각 과정 공개 (내비게이션의 '경로 설명'): "왜 이 답을 냈는지, 어떤 단계를 거쳐서 결론을 내렸는지 보여줘."
4. 실수 경고: "이 부분은 AI 가 헷갈려서 틀릴 수 있는 부분이에요"라고 미리 경고해 줘야 함.

📝 결론: "AI 는 조수이지, 운전자가 아니다"

이 연구의 결론은 매우 명확합니다.

학생들은 AI 를 **완전히 믿고 모든 것을 맡기는 '대리 운전'**을 원하지 않습니다. 대신, 내가 운전대를 잡고 있을 때, 내비게이션이 정확한 정보를 주면서 "여기 위험합니다"라고 알려주는 '현명한 조수' 역할을 하길 원합니다.

핵심 메시지:

"AI 가 더 똑똑해지길 바라는 것도 중요하지만, AI 가 자신의 한계를 솔직하게 말해주고, 학생이 스스로 판단할 수 있게 도와주는 시스템이 만들어져야 진정한 교육의 도구가 될 수 있습니다."

이 연구는 앞으로 교육용 AI 를 만들 때, 단순히 "정답을 빨리 내는 것"보다 **"학생이 어떻게 생각하고 검증할 수 있게 할 것인가"**에 집중해야 함을 알려줍니다.

기술 요약

논문 요약: 온라인 대학원 CS 학생들의 학생-AI 협업 감사 (Auditing)

1. 연구 배경 및 문제 제기 (Problem)

생성형 AI(GenAI) 가 고등교육에 빠르게 통합되면서 학생들의 학업 수행 방식이 변화하고 있습니다. 그러나 AI 의 효율성 향상 이면에는 과도한 자동화 (over-automation), 학생의 주체성 (agency) 상실, 그리고 불확실하거나 환각 (hallucination) 된 출력에 대한 우려가 존재합니다.
기존 연구들은 AI 의 교육적 효과나 윤리적 문제를 다루었지만, 다양한 학업 과제에서 학생들이 AI 와 어떻게 협업하기를 원하는지 (기대 수준) 와 실제로 어떻게 사용하는지 (실제 사용) 사이의 괴리를 체계적으로 분석한 연구는 부족합니다. 본 연구는 Georgia Tech 의 온라인 컴퓨터 과학 석사 (OMSCS) 프로그램을 대상으로, 학생들의 기대와 실제 사용 간의 정합성을 감사 (Audit) 하고, 이를 통해 신뢰할 수 있는 교육용 AI 시스템 설계 방향을 제시하는 것을 목표로 합니다.

2. 연구 방법론 (Methodology)

본 연구는 **혼합 방법론 (Mixed-methods)**을 채택하여 두 단계에 걸친 설문을 수행했습니다.

• 대상: Georgia Tech OMSCS 프로그램 재학생 중 AI 를 학업에 최소한으로라도 사용한 경험이 있는 44 명 (최초 57 명 중 필터링).

• 1 단계: 정량적 설문 (Quantitative Survey)

  • 12 가지 교육 과제 선정: 연구 요약 (T1), 인용 형식화 (T2), 아이디어 브레인스토밍 (T3), 문법 교정 (T4), 코드 디버깅 (T5), 학습 계획 수립 (T6) 등 12 가지 과제를 선정.
  • 자동화 수준 측정: Shao et al. 의 **Human Agency Scale (HAS)**을 기반으로 5 점 리커트 척도를 사용.
    • 기대 자동화 수준 (Desired Automation): "AI 가 이 과제에서 이상적으로 수행해야 할 역할" (1: 전혀 관여 안 함 ~ 5: 완전 자율 수행).
    • 실제 사용 수준 (Actual Usage): "현재 AI 를 이 과제에 얼마나 의존하는가" (1: 전혀 안 함 ~ 5: 전적으로 의존).
  • 4 영역 분류 (Four-Zone Classification): 기대와 실제 사용의 조합에 따라 과제를 4 가지 영역으로 분류.
    1. Green Light (녹색 신호): 기대 높음, 사용 높음 (적극적 수용).
    2. R&D Opportunity (연구 개발 기회): 기대 높음, 사용 낮음 (기술적 한계로 미사용).
    3. Low Priority (저우선순위): 기대 낮음, 사용 낮음.
    4. Red Light (적색 신호): 기대 낮음, 사용 높음 (부적절하지만 사용됨).
  • 주요 우려 및 사용 동기: 각 과제별 AI 사용의 주된 이유 (시간 절약, 인지 부하 감소 등) 와 우려 사항 (오류, 학문적 부정행위, 비판적 사고 감소 등) 조사.

• 2 단계: 정성적 설문 (Qualitative Survey)

  • 1 단계에서 가장 빈번하게 보고된 우려 사항 (정확하지 않은 정보/환각) 을 기반으로, 이를 해결하기 위한 AI 시스템의 설계 기능 및 원칙에 대한 개방형 질문 수행 (53 명 응답).

3. 주요 결과 (Key Results)

RQ1: 기대 자동화 수준 vs. 실제 사용 수준

• 전반적 격차: 대부분의 과제에서 학생들의 '기대 자동화 수준'이 '실제 사용 수준'보다 높았습니다. 이는 AI 에 대한 거부감이 아니라, **조건부 수용 (Conditional Adoption)**을 시사합니다.
• 과제별 패턴:
  • Green Light (높은 기대, 높은 사용): 인용 형식화, 문법 교정, 요약, 코드 디버깅 등 절차적이고 검증 가능한 과제.
  • R&D Opportunity (높은 기대, 낮은 사용): 학습 계획 수립, 플래시카드 생성, 단계별 수리 문제 해결 등 맥락화 및 개인화가 필요한 과제. 학생들은 AI 의 도움을 원하지만, 현재의 신뢰성 부족으로 인해 사용을 주저함.
  • Red Light/Low Priority: 사회적 민감도가 높은 이메일 작성 (T9) 이나 창의적 아이디어 생성 (T3) 의 경우, 기대와 사용 간 격차가 크거나 주체성 문제로 인해 사용을 꺼림.

RQ2: 과제별 사용 동기 및 우려 사항

• 동기: 대부분의 과제에서 **'시간 절약'**과 **'인지 부하 감소'**가 주된 동기였습니다.
• 우려 사항의 차이:
  • 작업/수정 과제: 우려가 상대적으로 적었으며, '없음 (None)'이 가장 흔한 답변.
  • 아이디어 생성 (T3): **'비판적 사고 감소'**에 대한 우려가 압도적으로 높음 (창의적 사고의 소유권 문제).
  • 기술/정량적 문제 (T5, T10): **'정확하지 않은 정보 (Hallucination)'**에 대한 우려가 가장 높음. 오류 탐지가 어렵고 결과가 치명적일 수 있어 신중한 태도 보임.

RQ3: 시스템 설계 요구사항

• 학생들은 더 많은 자동화보다는 검증 가능성과 투명성을 요구했습니다.
• 주요 설계 원칙:
  1. 투명성 및 검증 가능성 (Transparency & Verifiability): 모든 정보에 대한 **출처 인용 (Clickable links)**과 데이터 소스 명시.
  2. 불확실성 명시 (Uncertainty Communication): AI 가 확신하지 못하거나 추측할 때 이를 **신뢰도 점수 (Confidence scores)**나 명확한 지표로 표시 (무조건적인 자신감 있는 톤은 오히려 불신을 초래함).
  3. 설명 가능성 (Explainability): AI 의 추론 과정 (Thinking steps) 을 보여주고 사용자가 중간에 개입할 수 있는 기능.
  4. 환각 경고 (Hallucination Signaling): 잘못된 정보를 식별할 수 있는 플래그 및 경고 시스템.

4. 주요 기여 (Key Contributions)

1. 학생-AI 협업의 정량적 감사 (Audit): 12 가지 구체적인 학업 과제를 대상으로 기대와 실제 사용 간의 격차를 '4 영역 모델'로 시각화하여, AI 도입이 필요한 영역과 신중해야 할 영역을 empirically 규명.
2. 조건부 수용의 발견: 학생들은 AI 를 무조건 거부하거나 수용하는 것이 아니라, **과제의 특성 (검증 용이성, 학습 가치, 사회적 민감도)**에 따라 자동화 수준을 유연하게 조절한다는 점을 발견.
3. 인간 중심 AI (HCAI) 설계 가이드라인: 학생들의 우려를 해결하기 위해 '검증', '불확실성 공개', '비판적 참여'를 지원하는 구체적인 시스템 설계 원칙을 제시. 이는 단순한 효율성 증대가 아닌 학습 주체성 보존에 초점을 맞춤.

5. 의의 및 시사점 (Significance)

• 교육적 함의: 교육용 AI 는 학생의 학습을 대체하는 도구가 아니라, 비판적 사고와 검증을 가능하게 하는 보조 도구로 설계되어야 함을 강조합니다.
• 시스템 설계 방향: AI 개발자들은 사용자에게 "정답"을 제공하는 데 집중하기보다, 출처의 투명성, 오류 가능성의 명시, 사용자의 개입 기회를 제공하는 기능을 우선시해야 합니다.
• 미래 연구: 본 연구는 CS 학생을 대상으로 했으므로, 향후 다양한 학문 분야와 더 넓은 학생 집단을 대상으로 연구가 확장될 필요가 있으며, 개방형 질문을 통해 더 세밀한 맥락적 통찰을 얻을 수 있을 것입니다.

이 연구는 생성형 AI 가 교육 현장에 정착하기 위해서는 기술적 성능뿐만 아니라 학생의 신뢰, 주체성, 그리고 학습 목표와의 정합성을 고려한 인간 중심의 설계가 필수적임을 실증적으로 증명했습니다.