💻 computer science

Human–AI collaboration in deductive coding of classroom dialogue: prompt engineering and collaboration patterns

본 연구는 설계 기반 연구(design-based research)를 활용하여, 구조화된 프롬프트 및 인간 중심의 협업 워크플로와 결합된 맞춤형 GPT 코딩 어시스턴트가 교실 대화의 연역적 코딩을 효과적으로 지원함을 입증하며, 성공적인 인간-AI 협업은 프롬프트 구조, 워크플로 시퀀싱, 그리고 AI에 대한 연구자의 태도 사이의 역동적인 상호작용에 달려 있음을 강조한다.

원저자: Luwei Bai, Dongkeun Han, Sara Hennessy

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Luwei Bai, Dongkeun Han, Sara Hennessy

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 교실에서 들려오는 비밀 언어를 해독하려고 한다고 상상해 보세요. 교사와 학생들은 깊고 복잡한 대화를 나누고 있고, 당신의 임무는 모든 문장을 "추론(Reasoning)", "사고를 위한 초대(Invitation to think)", 또는 "동의(Agreement)"와 같은 특정 카테고리로 분류하는 것입니다. 이것을 수작업으로 하는 것은 마치 소방 호스로 물을 마시려는 것과 같습니다. 매우 지치고, 시간이 오래 걸리며, 뇌가 피로해집니다.

여기에 **맞춤형 GPT 코딩 어시스턴트(Customised GPT Coding Assistant, CGCA)**가 있습니다. 이 AI를 모든 것을 다 아는 마법의 로봇이 아니라, 특정한 규칙서(Cambridge 대화 분석 체계라고 불리는)와 공부할 몇 가지 예시 문장을 전달받은 매우 똑똑하고 빠른 인턴이라고 생각하세요. 캠브리지 대학교의 연구원들은 다음과 같은 점을 알고 싶었습니다: 우리가 이 인턴에게 힘든 일을 대신 하도록 훈련할 수 있을까? 그리고 인턴이 업무를 독점하거나 인간이 짜증을 내지 않도록 어떻게 함께 협력할 수 있을까?

연구 결과는 다음과 같으며, 명확함을 유지하기 위해 몇 가지 비유를 곁들였습니다.

1. "인턴"에게는 올바른 지침이 필요합니다 (프롬프트 엔지니어링)

처음에 연구원들은 AI에게 전체 규칙서를 건네주며 "시작해!"라고 말했습니다. 그 결과는 어땠을까요? AI는 혼란에 빠졌습니다. 이는 마치 신입 사원에게 500페이지짜리 매뉴얼을 던져주고 첫날부터 완벽하게 해내길 기대하는 것과 같았습니다. AI의 정확도는 특정 카테고리에서 **6.7%**까지 떨어지는 등 매우 낮았습니다.

연구원들은 AI가 인간과는 다르게 작동하는 "두뇌"를 가지고 있다는 사실을 깨달았습니다. 한 번에 너무 많은 텍스트를 주면 AI는 압도당합니다. 그래서 그들은 **프롬프트 엔지니어링(Prompt Engineering)**을 시작했습니다. 이는 인턴을 위한 지침을 다시 쓰는 것과 같습니다. 거대한 텍스트의 벽 대신, 그들은 다음과 같이 했습니다:

규칙을 "의사결정 트리"(X가 발생하면 Y를 수행한다)로 세분화했습니다.
수백 개의 예시 대신, 엄선된 5~15개 정도의 적은 양의 더 나은 예시를 제공했습니다.
지침을 단계별로 만들었습니다.

결과: 이러한 조정을 거친 후, AI의 정확도는 **64.9%**로 급증했습니다. 완벽하지는 않지만(인간은 보통 서로 **70~75%**의 일치율을 보입니다), 유능한 조력자가 되기에는 충분한 수준입니다. 이 논문은 단순히 인간의 교육 매뉴얼을 컴퓨터 프롬프트에 붙여넣는 것만으로는 작동하지 않는다고 제안합니다. AI가 생각하는 방식에 맞춰 지침을 재구성해야 합니다.

2. 누가 먼저 시작할 것인가? "인간 우선" vs "AI 우선"의 댄스

연구원들은 이 AI 인턴과 협업하는 두 가지 방법을 테스트했습니다. 그들은 6명의 교육 연구자(초보 코더와 전문가 포함)를 대상으로 55개의 교실 대화 턴을 처리하게 했습니다.

조건 A (인간 우선): 인간이 문장을 먼저 코딩한 다음, AI에게 "당신은 어떻게 생각하나요?"라고 묻습니다.
조건 B (AI 우선): 인간이 AI에게 "당신은 어떻게 생각하나요?"라고 먼저 묻고, 그 후에 인간이 동의 여부를 결정합니다.

연구 결과:
인간이 먼저 했을 때, 인간과 "골드 스탠다드"(원래의 전문가 코더) 사이의 일치도는 약 0.40이었습니다.
AI가 먼저 했을 때, 그 수치는 0.45로 약간 상승했습니다.
참고: 논문에서는 그룹의 규모가 작았기 때문에 이 차이가 매우 크다고 통계적으로 "증명"된 것은 아니지만, AI를 먼저 시작하는 것이 사람들이 규칙을 더 잘 지키도록 돕는 경향이 있음을 시사한다고 밝혔습니다.

또한, AI가 먼저 진행했을 때 인간들이 작업을 더 빨리 끝냈습니다. 그러나 연구원들은 흥로운 점을 발견했습니다. "AI 우선" 그룹의 사람들은 자신이 AI의 작업을 검토하고 있다고 느낀 반면, "인간 우선" 그룹의 사람들은 AI에 의해 검사받고 있다고 느꼈습니다.

3. 비밀 재료: 당신이 AI를 대하는 방식

이 부분이 가장 흥ло로운 부분입니다. 연구원들은 작업 순서보다 인간이 AI에 대해 어떻게 느끼는지가 더 중요하다는 것을 발견했습니다. 그들은 코더들의 작업 방식에서 두 가지 뚜렷한 "성격"을 포착했습니다.

"대화적" 파트너 (협력자들)
팀의 약 절반(참여자 C, D, E)은 AI를 비판적 친구나 토론 파트너처럼 대했습니다.

비유: 테니스 파트너가 공을 당신에게 다시 쳐주어 당신이 더 강하게 칠 수 있게 해주는 상황을 상상해 보세요. 그들은 AI를 맹목적으로 믿지는 않았지만, 자신의 생각을 테스트하기 위해 AI의 제안을 활용했습니다. "음, AI는 이것을 '추론'이라고 하는군. 왜지? 아, '왜냐하면'이라는 단어 때문이구나. 좋아, 동의해."
결과: 이들은 코딩 초보자였음에도 불구하고 가장 많이 발전했습니다. 그들은 AI를 학습하고 결정을 정교하게 만드는 도구로 활용했습니다.

"감독적" 감시자 (회의론자들)
나머지 절반(참여자 A, B, F)은 AI를 끊임없이 확인해야 할 용의자나 기계처럼 대했습니다.

비유: 보안 요원이 카메라가 고장 났다고 생각하여 끊임없이 그것이 틀렸음을 증명하려고 애쓰는 상황을 상상해 보세요. 그들은 "ChatGPT를 확인 중이다"라거나 "이것은 동료라고 생각하지 않는다"라고 말했습니다. 그들은 AI와 "대화"하기를 거부하며 거리를 두었습니다.
결과: 이들은 성장이 덜했습니다. 코딩 정확도가 낮게 유지되었고, AI의 추론에 참여하는 시간도 적었습니다. 그들은 AI를 검증하는 데 너무 집중한 나머지, 협력할 기회를 놓쳤습니다.

4. 이 논문이 부정하는 것들

이 연구가 작동하지 않는다고 명시한 내용을 아는 것이 중요합니다:

마법의 해결책이 아닙니다: 방대한 데이터를 AI에 쏟아붓고 표준 규칙서를 준다고 해서 완벽하게 작동할 것이라 기대할 수 없습니다. 논문은 "인간의 훈련 코드북을 프롬프트로 직접 전송하는 것은 불충분하다"고 명시적으로 주장합니다.
기술의 대체물이 아닙니다: 이 연구는 AI가 인간을 즉각적인 전문가로 만든다고 주장하지 않습니다. 실제로 한 참가자(참여자 E)는 자신감이 부족하여 처음에는 AI에 의존했으나, 나중에 가서야 AI의 작업을 비판적으로 판단하는 법을 배웠습니다. 논문은 이것이 영구적인 기술 향상이 아니라 일시적인 자신감 상승일 수 있다고 시사합니다.
"원 사이즈(One-size-fits-all)" 솔루션이 아닙니다: 논문은 AI를 사용하는 단 하나의 완벽한 방법은 없다고 주장합니다. "대화적" 파트너에게 맞는 방식이 "감독적" 감시자에게는 맞지 않을 수 있습니다.

5. 얼마나 확신할 수 있는가?

연구원들은 신중하게 표현합니다. 그들은 자신의 결과가 "대화적" 접근 방식(AI를 파트너로 대하는 것)이 더 나은 결과를 가져온다는 것을 시사한다고 말합니다. 또한 AI를 먼저 시작하는 것(AI-first)이 일관성을 높이는 데 도움이 될 수 있다고 시사합니다.

신뢰 수준: 이 연구는 단 6명만을 대상으로 한 소규모 탐색입니다. 저자들은 그룹 규모가 작기 때문에 "AI 우선" 방식이 확실히 더 낫다고 단정 지을 수는 없으며, 단지 수치가 그러한 방향을 **보였다(trended)**고 말할 수 있을 뿐이라고 인정합니다.
정확도: AI는 **64.9%**의 정밀도에 도달했습니다. 논문은 이것이 인간의 일치 수준인 **70~75%**에 "근접하고 있다"고 언급하지만, 아직 도달하지는 못했습니다. 이것은 최종 정답지가 아니라 "구조화된 의사결정 지원 도구"입니다.

종합적인 그림

이 연구는 인간-AI 협업을 단순한 "인간 대 기계" 또는 "기계가 일을 하는" 시나리오가 아닌, 역동적인 댄스로 묘사합니다.

이 댄스의 성공은 세 가지 요소가 함께 움직이는지에 달려 있습니다:

스텝 (AI 설계): 지침은 단순하고 단계적이어야 하며, AI의 사고 방식(의사결정 트리와 같은)에 맞춰져야 합니다.
음악 (맥락): 작업 순서(누가 먼저 시작하는가)가 리듬을 바꿉니다.
무용수의 마음가짐 (인간): AI를 배움의 파트너로 대하면 더 잘 춤출 수 있습니다. AI를 검사해야 할 적대적인 존재로 대하면 발을 헛디디게 됩니다.

논문은 AI가 연구에서의 **사회 기술적 과정(socio-technical process)**이라고 결론짓습니다. 그것은 단순히 코드에 관한 것이 아니라, 인간이 도구와 어떻게 느끼고, 생각하고, 상호작용하는지에 관한 것입니다. 호기심 많은 십 대에게 주는 교훈은 다음과 같습니다: 도구는 당신이 구축하는 관계만큼 가치가 있습니다. 만약 당신이 그것을 똑똑한 팀원으로 대한다면, 그것은 당신을 성장하게 도와줄 것입니다. 만약 당신이 의심스러운 낯선 이로 대한다면, 그것은 그저 검사를 기다리며 가만히 앉아 있을 뿐입니다.

기술 요약: 교실 대화의 연역적 코딩을 위한 인간-AI 협업

문제 제기
교실 대화는 지식의 공동 구성과 인지 발달을 위한 핵심적인 기제이지만, 연역적 코딩을 통한 체계적인 분석은 여로써 병목 현상을 겪고 있다. Cambridge Dialogue Analysis Scheme(CDAS)과 같은 확립된 프레임워크를 사용하는 수동 코딩은 인지적 부담이 크고, 시간이 많이 소요되며, 규모를 확장하기 어렵다. 거대언어모델(LLM)은 질적 분석을 자동화할 수 있는 잠재력을 제공하지만, 기존의 지도 학습 방식은 전문적인 교육 연구에서 흔히 구할 수 없는 대규모의 주석(annotated) 데이터셋을 필요로 한다. 또한, 연역적 코딩을 위해 경량화되고 구성 가능한 대화형 시스템을 어떻게 실질적으로 구현할 것인지, 그리고 인간-AI 협업 과정이 이 특정 맥락에서 어떻게 전개되는지에 대한 경험적 이해가 부족한 실정이다.

연구 방법론
본 연구는 세 가지 연구 질문을 해결하기 위해 설계 기반 연구(Design-Based Research, DBR)와 피험자 내 유사 실험 설계(within-subject quasi-experimental design)를 결합하여 수행되었다: (1) 제한된 데이터로 연역적 코딩을 수행하기 위해 맞춤형 GPT 코딩 어시스턴트(CGCA)를 어떻게 최적화할 것인가? (2) 워크플로 순서(인간 우선 vs. AI 우선)가 협업에 어떤 영향을 미치는가? (3) 사용자 수준의 요인이 협업 패턴에 어떤 영향을 미치는가?

시스템 개발 (RQ1): 연구진은 CDAS 프레임워크에 기반하여 CGCA를 반복적으로 개발하였다. 코드북을 직접 전이하는 초기 시도는 신뢰할 만한 성능을 달이지 못했다. 이후의 반복 과정에서는 다음과 같은 프롬프트 엔지니어링 전략에 집중하였다:
- 지시 구조(Instruction Architecture): 단순한 규칙 목록에서 벗어나, 인지 부하를 줄이고 LLM의 처리 제약에 맞추기 위해 의사결정 트리 논리, if-else 구조, 모듈형 분절 방식을 도입하였다.
- 예시 선정(Exemplar Selection): 구별되지 않은 방대한 양의 데이터에 의존하기보다, 핵심 사례, 모호한 사례, 경계 사례를 포함하여 범주당 5~15개의 고품질의 다양한 예시를 선별하였다.
- 피드백 루프(Feedback Loops): 표면적인 패턴 매칭이 아닌 규칙 기반 분류를 장려하기 위해 상호작면 검증 단계를 포함하였다.
- 평가: 최종 CGCA는 초등학교 수업에서 추출한 1,386개의 실제 인간 코딩 대화 턴을 대상으로 정밀도(precision), 재현율(recall), 정확도(accuracy), F1 점수를 사용하여 테스트되었다.
협업 연구 (RQ2 & RQ3): 코딩 숙련도와 AI 경험이 다양한 6명의 교육 연구자가 두 가지 워크플로 조건에 참여하였다:
- 조건 A (인간 우선 - Human-first): 코더가 CGCA를 참조하기 전에 독립적으로 레이블을 할당한다.
- 조건 B (AI 우선 - AI-first): 코더가 자신의 레이블을 확정하기 전에 CGCA의 출력을 검토한다.
- 데이터 수집: 코딩 기록, 전체 GPT 채팅 로그, 사고 구술(think-aloud) 프로토콜, 사후 과업 인터뷰(자극 회상 포함)를 포함하였다.
- 분석: 정량적 분석은 참조 코딩에 대한 코헨의 카파( $\kappa$ ) 값을 측정하였으며, 정성적 분석은 귀납적 주제 분석을 사용하여 담화 증거를 바탕으로 척도(약함–중간–강함)에 따라 특징지어진 협업 형성 요인을 식별하였다.

주요 결과

시스템 성능 (RQ1): 초기 베이스라인 CGCA는 낮은 정밀도(6.7%–38.2%)를 보였다. 프롬프트 구조와 예시 선별의 반복적 개선을 통해, 최종 시스템은 64.9%의 턴 레벨 정밀도를 달성하였으며, 이는 인간 전문가의 일반적인 코더 간 일치도(70–75%)에 근접한 수치이다. 본 연구는 구조적 명확성(의사결정 트리, 단계적 추론)과 고품질의 맥락 풍부한 예시가 예시의 절대적인 양보다 더 중요하다는 것을 발견하였다.
워크플로 영향 (RQ2): **AI 우선 조건(조건 B)**은 인간 우선 조건(조건 A)에 비해 약간 더 높은 평균 코헨 카파 값(M ≈ 0.45)을 나타냈으나, 작은 표본 크기로 인해 통계적 유의성은 확보되지 않았다. 조건 B는 턴당 코딩 시간을 단축하는 효과가 있었다. 정성적 분석 결과, 조건 B는 초기 AI 출력이 후속 인간 판단에 영향을 미치는 **앵커링 효과(anchoring effects)**를 빈번하게 유발한 반면, 조건 A는 더 광범ening한 자기 추론과 규칙 기반 협상을 수반하는 것으로 나타났다.
사용자 요인 및 협업 패턴 (RQ3): 연구는 연구자들이 CGCA와 상호작용하는 두 가지 뚜렷한 지향성을 식별하였다:
1. 대화적 지향(Dialogic Orientation): 참가자들은 AI를 "비판적 친구" 또는 협력적 대화 상대(interlocutor)로 취급하였다. 이들은 AI 출력을 사용하여 자신의 추론을 외현화하고 결정을 재조정하였다. 초보 코더를 포함한 이 그룹은 가장 강력한 코딩 개선과 학습 성취를 보여주었다.
2. 감독적 지향(Supervisory Orientation): 참가자들은 AI를 감시의 대상으로 보았으며, 인식적 거리(epistemic distance)를 유지하며 모델의 신뢰성을 검증하는 데 집중하였다. 이 그룹은 반복적인 추론이 적었으며 성과 향상 폭도 작았다.
- 역동적 변화: 위치성(positionality)은 고정적이지 않았다. 예를 들어, 한 초보 참가자는 상호작용을 통해 자신감이 높아짐에 따라 순종적인 태도에서 비판적이고 협상하는 태도로 변화하였다.

핵심 기여

연역적 코딩을 위한 프롬프트 엔지니어링: 본 연구는 효과적인 AI 지원 연역적 코딩을 위해서는 인간의 코딩 절차를 LLM의 제약에 맞게 조정해야 함을 입증한다. 구체적으로, 복잡한 판단을 의사결정 트리 논리로 분해하고 선별된 다양한 예시를 사용하는 것이 단순히 방대한 코드북이나 많은 예시를 입력하는 것보다 더 나은 결과를 낳는다.
사회-기술적 프레임워크: 본 논문은 질적 코딩에서의 인간-AI 협업을 역동적이고 호혜적인 과정으로 개념화하는 예비 프레임워크를 제안한다. 이는 결과가 CGCA 시스템 설계(프롬프트 구조), 맥락적 조건(워크플로 순서), 그리고 인간 코더의 특성(위치성, 신뢰, 사전 지식)에 의해 공동으로 결정된다고 상정한다.
위치성의 역할: 본 연구는 인간의 권위가 반드시 엄격한 감독 상태여야 한다는 관점에 도전한다. 대신, 인간이 최종 평가 통제권을 유지하면서도 AI를 추론 파트너로 대하는 "대화적" 태도가 특히 경험이 적은 코더들에게 더 나은 코딩 정확도와 학습 성과를 가져다주는 것으로 보인다.

의의 및 주장
저자들은 AI 지원 대화 코딩이 단순한 기술적 자동화 작업이 아니라 역동적인 사회-기술적 과정으로 이해되어야 한다고 주장한다. 본 연구는 다음을 시사한다:

설계적 함의: 효과적인 AI 도구를 구축하는 것은 단순히 인간의 규칙을 번역하는 것 이상을 요구한다. 즉, 인지 부하 이론 및 LLM 처리 한계와 일치하는 프롬프트 구조가 필요하다.
협업 역학: 인간-AI 협업의 효과성은 코더의 위치성(그들이 AI와의 관계를 어떻게 바라보는가)에 의해 크게 좌우된다. AI를 종속적인 도구가 아닌 협력적 파트너로 대하는 것이 더 강력한 분석적 결과와 학습 성과를 이끌어낼 수 있다.
코딩의 형평성: CGCA는 초보자가 대화적 지향성을 가질 때, 숙련자와 초보자 사이의 성과 격차를 줄이는 "수준 평준화 기제(levelling mechanism)"로 기능할 수 있다.

저자들은 본 연구의 규모가 작고(n=6), 영국 초등 교실이라는 특정 맥락에 국한되어 있으며, 독립적인 기술 발전에 대한 장기적 증거가 부족하다는 점을 인정하며 신중한 입장을 유지한다. 이들은 획일적인 구현 전략은 효과적이지 않을 가능성이 높으며, 이러한 발견을 더 큰 표본과 다양한 코딩 프레임워크에 걸쳐 검증하기 위한 후속 연구가 필요함을 강조한다.