The Agency Gap in AI-Supported Writing: How Reactive and Proactive Agent Designs Shape Multimodal Reasoning

기술 요약: AI 지원 글쓰기에서의 에이전시 격차(The Agency Gap)

문제 제기
생성형 AI(GenAI)의 학술적 글쓰기 통합은 중요한 설계 과제인 '에이전시 격차(agency gap)'를 야기한다. 이 개념은 AI 에이전트가 요구하는 주도성(예: 반응형 vs. 주도형)과 학습자가 AI 지원 추론을 개시, 모니터링 및 평가할 수 있는 능력 사이의 잠재적 불일치를 설명한다. GenAI 도구는 비계 설정(scaffolding)의 기회를 제공하지만, 그 교육적 가치는 제어권이 어떻게 공유되느냐에 달려 있다. 반응형 에이전트는 학습자에게 높은 프롬프트 기술과 메타인지적 인식을 요구하며, 이는 잠재적으로 낮은 GenAI 리터러시를 가진 학습자에게 불리하게 작용할 수 있다. 반면, 일련의 질문과 피드백을 제공하는 주도형 에이전트는 인지 부하를 줄여줄 수 있으나, 학습 과정을 과도하게 구조화하여 학습자의 에이전시를 저해할 위험이 있다. 기존 연구는 이러한 상호작용 설계가 인식적 추론(epistemic reasoning), 피드백 수용, 그리고 다중 양식적 분석 글쓰기 과제에서의 즉각적인 독립적 수행 능력에 어떻게 영향을 미치는지에 대한 실증적 근거가 부족하다.

연구 방법론
본 연구는 79명의 의학 및 간호 전공 학생들을 대상으로 2단계 혼합 방법론 실험 설계를 채택하였다. 참가자들은 의료 시뮬레이션 데이터 시각화(막대 그래프, 커뮤니케이션 네트워크, 병동 지도)를 기반으로 한 두 가지 다중 양식적 분석 글쓰기 과제를 수행하였다.

• 실험 조건: 참가자들은 다음 두 가지 AI 에이전트 설계 중 하나에 무작위로 배정되었다:
  • 반응형 에이전트(Reactive Agent): 학습자의 요청에만 응답하며, 학습자가 불확incity(불확실성)를 식별하고, 프롬프트를 구성하며, 탐구 순서를 결정하도록 요구한다.
  • 주도형 에이전트(Proactive Agent): 전문가가 작성한 비계(scaffold)를 바탕으로 고정된 일련의 유도 질문을 시작하고 과제 또는 프로세스 수준의 피드백을 제공하며, 최종 텍스트를 생성하지 않으면서 학습자를 시각적 해석 과정으로 안내한다.
• 측정 지표:
  • GenAI 리터러시: 검증된 20개 항목의 생성형 AI 리터러시 평가 테스트(GLAT)를 사용하여 평가하였다.
  • 글쓰기 수행 능력: 통찰력, 시각 데이터 통합, 조직 및 일관성, 언어적 품질, 비판적 사고의 5개 차원을 다루는 서열 척도 루브릭을 통해 평가하였다.
  • 인식적 추론(Epistemic Reasoning): 인간-AI 대화 내에서의 추론 및 참여의 관계적 구조(ICAP 및 논증 프레임워크 기반)를 매핑하기 위해 인식적 네트워크 분석(ENA)을 사용하였다.
• 분석 접근법: 본 연구는 독립적 글쓰기 수행 능력(AI 제거 후)을 리터러시와 설계에 따라 예측하기 위해 서열 로지스틱 회귀 분석을 활용하였다. 매개 분석을 통해 AI 지원 수행 능력이 리터러시와 독립적 수행 능력 사이의 관계를 매개하는지 테스트하였다. 학습자 성찰에 대한 주제 분석을 통해 에이전시에 대한 경험에 대한 질적 통찰을 제공하였다.

주요 결과

• 인식적 추론 (RQ1): ENA 결과, 조건 간에 뚜렷한 관계적 구조가 나타났다. 주도형 상호작용은 개념적 추론, 적절한 증거 적용, 건설적 참여 사이의 강력한 연결을 촉진했다. 반면, 반응형 상호작용은 사실적 묘사와 과제 이탈 또는 절차적 교환 사이의 더 강한 연관성을 특징으로 했다. 주도형 비계는 계획 및 모니터링 기능을 외재화하여, 주의를 단순 관찰에서 종합으로 유도하는 것으로 나타났다.
• GenAI 리터러시와 수행 능력 (RQ2): GenAI 리터러시는 AI 지원 제거 후 시각 데이터 통합, 비판적 사고, 그리고 전체 종합 점수에서 독립적 수행 능력을 유의미하게 예측했다. 그러나 리터러시는 통찰력, 조직 또는 언어적 품질에서는 수행 능력을 유의미하게 예측하지 못했다. 결정적으로, GenAI 리터러시와 에이전트 설계 간의 상호작용은 통계적으로 유의미하지 않았다. 즉, 한 설계가 다른 설계보다 더 높은 점수를 내거나 다른 리터러시 기울기를 생성한다는 증거를 발견하지 못했다.
• 매개 효과 (RQ3): 매개 분석 결과, 반응형 조건에서는 GenAI 리터러시와 독립적 수행 능력 사이에 유의미한 총 연관성이 나타났으나, 주도형 조건에서는 그렇지 않았다. 그러나 간접 효과는 두 조건 모두에서 통계적으로 유의미하지 않았으며 신뢰 구간이 넓었다. 이는 주도형 지원이 리터러시 기반의 수행 차이를 줄여줄 수는 있지만, 본 연구가 보상적 인과 효과를 입증하거나 매개를 확정 짓지는 못함을 시사한다.
• 학습자 경험 (RQ4): 질적 분석을 통해 세 가지 설계 휴리스틱을 식별하였다: (1) 맥락적 및 확인적 피드백을 통한 자율성 유지(반응형); (2) 대화적 비계를 통한 통합적 추론 촉진(주도형); (3) 학습자의 인지된 전문성과 과제 복잡성에 맞춰 주도성을 조정함으로써 형평성 확보. 학습자들은 증거를 연결하는 데 있어 주도형 가이드를 가치 있게 여겼으나, 단순한 과제나 스스로 유능하다고 느낄 때는 그것이 중복된다고 느꼈다.

주요 기여
본 논문의 주요 이론적 기여는 '에이전시 격차'를 개인의 결함이 아닌, AI 에이전트의 주도성과 학습자 역량 사이의 관계적 불일치로 개념화한 것이다. 이는 주도성의 배분을 인식적 작업의 할당을 결정하는 설계 수준의 경계 조건으로 위치시킨다.

• 과정 vs. 결과: 본 연구는 상호작용 설계가 직접적인 '결과'(글쓰기 점수)에 대한 통계적 효과가 나타나지 않더라도, 추론의 '과정'(대화의 네트워크 구조)을 유의미하게 변화시킨다는 것을 보여준다.
• 설계 함의: 연구 결과는 효과적인 AI 글쓰기 지원을 위해 맥락적 피드백, 대화적 비계, 그리고 학습자 요구에 따른 주도성의 조절이 필요함을 시사한다. 주도형 설계는 개념적 통합을 심화시킬 수 있는 반면, 반응형 설계는 학습자의 통제권을 보존하지만 더 높은 리터러시를 요구한다.

의의 및 주장
저자들은 '에이전시 격차'가 검증된 일반 이론이라기보다 하나의 부상하는 설명적 프레임워크임을 강조하며, 연구의 의의를 완만하게 설정하였다. 본 연구는 주도형 에이전트가 반응형 에이전트보다 보편적으로 우수하다거나, 주도형 비계가 낮은 리터러시를 확실히 보상한다고 주장하지 않는다. 대신, 본 연구 결과는 상호작용 설계가 학습의 인식적 작업을 재구성한다는 가설을 뒷받ength한다. 실무적 시사점은 교육용 AI 에이전트가 학습자가 숙련도를 보여줌에 따라 가이드를 요청하거나 비계를 줄일 수 있도록 조정 가능한 수준의 주도성을 제공해야 한다는 것이다. 저자들은 이 결과가 단기적인 다중 양식적 증거 합성 과제에 특화되어 있음을 주의하며, 이러한 효과의 지속성을 테스트하기 위해 더 큰 표본, 직접적인 에이전시 측정, 그리고 종단적 평가를 포함한 후속 연구를 제안한다.