📄 사회과학

Search in Transition: A Mixed-Methods Study of LLMs and Search Engines in English Test Preparation

이 혼합 연구 방법론을 통한 연구는 영어 시험을 준비하는 대학생들이 효율성을 위해 거대언어모델(LLM)을, 검증을 위해 검색 엔진을 전략적으로 결합하며, 균형 잡힌 하이브리드 방식을 사용하는 이들이 과제 수행 시간은 더 길어짐에도 불구하고 가장 높은 정확도를 달ีก한다는 것을 밝혀냈으며, 궁극적으로 신뢰할 수 있는 AI 매개 학습을 위한 새로운 인터페이스 모델을 지지한다.

원저자: Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

게시일 2026-10-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매년 전 세계 수백만 명의 대학생들이 IELTS나 TOEFL과 같은 높은 이해도를 요구하는 영어 시험을 준비합니다. 이러한 시험은 종종 해외 유학이나 경력을 확보하기 위한 최종 관문이며, 단순히 어휘와 문법을 파악하는 것을 넘어 복잡한 정보를 빠르게 종합하는 능력을 요구합니다. 수십 년 동안 이러한 준비를 위한 표준적인 접근 방식은 전통적인 검색 엔진이었습니다. 학생은 질문을 입력하고, 링크 목록을 훑어보고, 여러 기사를 읽으며 답을 짜 맞춥니다. 이는 권위와 검증에 기반한 방식이지만, 느리고 정신적으로 소모적일 수 있습니다. 최근 몇 년 사이, 새로운 도구가 등장했습니다. 바로 대규모 언어 모델입니다. 이것들은 질문에 답하고, 에세이를 쓰고, 규칙을 설명할 수 있는 하나의 유동적인 응답으로 제공하는 대화형 인공지능 시스템입니다. 이것들은 마치 언제든 이용 가능한 튜터가 곁에 있는 것처럼 느껴집니다. 하지만 이 두 기술이 학생들의 마음속에서 충돌하면서, 중요한 질문이 제기됩니다. 과연 이들은 경쟁하는 것일까요, 아니면 함께 작동할 때 더 나은 결과를 내는 것일까요?

방글라데시의 유나이티드 인터내셔널 대학교(United International University) 연구진은 학생들이 실제 시험 문제에 직면했을 때 실제로 어떻게 행동하는지를 관찰함으로써 이 질문에 대한 답을 찾고자 했습니다. 그들은 단순히 학생들에게 무엇을 선호하는지 묻는 것에 그치지 않고, 그들이 작업하는 과정을 지켜보았습니다. 연구팀은 140명의 대학생 그룹을 모아 이러한 도구들에 대한 습관과 감정에 관한 설문조사를 실시했습니다. 더 깊이 있는 통찰을 얻기 위해, 그들은 이들 중 20명을 선발하여 더 밀도 있는 세션에 참여시켰습니다. 두 번째 단계에서 학생들은 어려운 텍스트 요약, 문법 오류 수정, 또는 짧은 의견 작성과 같이 영어 숙달도 시험의 도전 과제들을 모사한 7가지 특정 과제를 수행하도록 요청받았습니다. 연구진은 학생들이 어떤 도구에 손을 뻗는지, 과제 수행에 시간이 얼마나 걸리는지, 그리고 최종 답변의 정확도는 어떠한지를 면밀히 관찰했습니다.

결과는 학생들이 이 디지털 환경을 탐색하는 방식에서 명확한 패턴을 보여주었습니다. 학생들이 대화형 AI에만 의존했을 때, 그들은 평균 24분 만에 과제를 마치며 빠르게 작업했습니다. 그들의 답변은 유창하고 구조가 잘 잡혀 있었으며, 88%의 정확도를 기록했습니다. 학생들이 전통적인 검색 엔진을 고수했을 때, 그들은 평균 31분이 걸려 더 오래 걸렸고 정확도는 80%로 떨어졌습니다. 검색 엔진은 정보의 확인과 탐색을 위해 많은 웹 페이지를 오가게 만들었으며, 이 과정은 종종 혼란이나 세부 사항의 누락으로 이어졌습니다. 그러나 가장 성공적인 집단은 단 하나의 도구만을 선택한 집단이 아니었습니다. AI를 사용하여 빠른 초안이나 설명을 생성한 다음, 검색 엔진으로 전환하여 사실을 확인하고 규칙을 확정하는 하이브리드 전략을 채택한 학생들은 90%라는 가장 높은 정확도를 달성했습니다.

이 우수한 성과에는 대가가 따랐습니다. 하이브리드 그룹은 작업을 완료하는 데 평균 35분이 걸려 가장 오랜 시간이 소요되었습니다. 그들은 대화형 인터페이스와 검색 결과 목록 사이에서 맥락을 전환하며 멈추고 생각해야 했습니다. 추가적인 시간에도 불구하고, 이 학생들은 자신의 답변에 대해 더 높은 자신감을 보고했습니다. 그들은 AI가 아이디어를 생성하는 데는 강력하지만 때때로 실수를 하거나 모호한 설명을 제공할 수 있다는 점을 이해했고, 반대로 검색 엔진은 진실의 신뢰할 수 있는 원천이지만 탐색하기에는 압도적일 수 있다는 점을 이해했습니다. 이들을 결합함으로써, 그들은 AI의 속도와 명료함, 그리고 검색 엔진의 신뢰성을 모두 갖춘 양쪽의 장점을 취할 수 있었습니다.

이 연구는 이러한 맥락에서의 학습의 미래가 한 기술을 다른 기술보다 선택하는 것이 아니라, 이들을 통합하는 것에 있다고 시사합니다. 연구진은 학생들이 AI가 글쓰기와 요약이라는 힘든 작업을 처리하고, 검색 엔진이 사실 확인을 위한 안전망 역할을 하는 워크플로우를 향해 자연스럽게 움직이는 것을 관찰했습니다. 이러한 행동은 효율성과 정확성 사이에서 사용자가 하나를 선택하도록 강요하지 않는 도구에 대한growing한 필요성을 강조합니다. 저자들은 대화형 AI가 검색 엔진 내부에 직접 존재하는 새로운 종류의 인터페이스를 제안합니다. 이 상상된 시스템에서 학생은 질문을 던져 AI로부터 명확하게 요약된 답변을 얻는 동시에, 그 옆에서 바로 원본 출처로 연결되는 특정 링크들을 볼 수 있습니다. 이는 정보를 확인하기 위해 끊임없이 다른 탭이나 애플리케이션을 전환해야 하는 필요성을 제거하여, 정보 검증에 필요한 정신적 노력을 줄여줄 것입니다.

궁극적으로, 본 연구는 학생들이 이미 이러한 기술들을 어떻게 혼합하여 성공할 것인지 스스로 설계하며 행동하고 있음을 나타냅니다. 그들은 AI를 검색 엔진의 대체제로 취급하지도 않으며, 기존의 방식을 선호하며 AI를 무시하지도 않습니다. 대신, 그들은 각자의 강점을 활용하는 개인적인 워크플로우를 구축하고 있습니다. 연구는 높은 이해도를 요구하는 학습에 있어 가장 효과적인 길은 인공지능의 속도를 존중하면서도 전통적인 검색의 엄격한 검증을 유지하는 하이브리드 접근 방식이며, 이를 통해 학생들이 찾는 답이 단지 빠를 뿐만 아니라 진실되도록 보장하는 것이라고 결론짓습니다.

기술 요약: 전환기의 검색

문제 정의
대규모 언어 모델(LLM)이 학술적 정보 탐색에 점점 더 큰 영향을 미침에 따라, 대학생들은 대화형 AI와 전통적인 검색 엔진을 결합한 하이브리드 워크플로우를 채택하고 있다. 그러나 고부담 영어 시험 준비(예: IELTS, TOEFL) 과정에서 이러한 도구들이 어떻게 전략적으로 통합되는지에 대한 실증적 연구는 부족한 실정이다. LLM은 설명과 콘텐츠 생성 측면에서 효율성을 제공하지만, 유창하면서도 사실적으로 틀리거나 문맥상 부적절한 정보를 생성할 수 있다. 반대로, 전통적인 검색 엔진은 검증 가능하고 권위 있는 출처를 제공하지만, 여러 웹 페이지를 탐색, 합성 및 검증하는 데 상당한 인지적 노력이 필요하다. 본 연구가 다루는 핵심 문제는 효율성과 신뢰성 사이의 절충(trade-off), 그리고 학생들이 영어 시험 문제를 해결할 때 인지 부하와 인식적 신뢰를 관리하기 위해 사용하는 구체적인 전략이다.

연구 방법론
본 연구는 두 가지 별도의 단계로 구성된 혼합 방법론 연구 설계를 채택하였다:

양적 설문 조사: 방글라데시 유나이티드 인터내셔널 대학교(United International University)의 다양한 전공(주로 컴퓨터 과학, 공학, 경영학, 영어학) 학생 140명을 대상으로 설문 조사를 실시하였다. 조사 도구는 LLM 기반 도구와 전통적 검색 엔진 모두에 대해 네 가지 핵심 차원인 사용 빈도, 만족도, 인지된 효율성, 사용 용이성을 측정하였다. 데이터는 기술 통계, 윌콕슨 부호 순위 검정(짝지은 비교용), 프리드먼 검정(도구 내 차원 간 차이용), 그리고 카이제곱 검정(성별과 선호도 간의 연관성용)을 사용하여 분석되었다.
질적 과업 기반 인터뷰: 7개의 대표적인 영어 시험 과업(요약, 문법 교정, 어휘 선택, 패러프레이징, 작문 과업)을 수행한 20명의 학생을 대상으로 심층 인터뷰를 진행하였다. 참가자들은 네 가지 사용 그룹으로 분류되었다: LLM 전용, 검색 엔진 전용, 도구 균형형(두 도구를 순차적으로 사용), 유연한 선택형. 과업 수행 능력은 사전에 정의된 루브릭을 사용하여 두 명의 독립적인 평가자에 의해 평가되었으며(평가자 간 신뢰도 $\kappa = 0.82$ ), 정확도와 완료 시간을 측정하였다. 인터뷰 녹취록과 설문의 개방형 응답에는 주제 분석(Thematic analysis)이 적용되었다.

주요 결과

인지된 차이: 기술 통계 결과, LLM은 더 높은 만족도와 효율성을 보이는 것으로 나타난 반면, 전통적 검색 엔진은 사용 용이성과 사용 빈도에서 더 높은 점수를 받았다. 그러나 짝지은 통계 비교(윌콕슨 부호 순위 검정) 결과, 네 가지 측정 차원 모두에서 두 도구 유형 간에 통계적으로 유의미한 차이는 발견되지 않았다 ( $\alpha = 0.05$ 수준).
성능의 절충: 인터뷰 단계에서 도구 균형형 그룹(LLM과 검색 엔진을 교대로 사용한 학생들)은 가장 높은 과업 정확도(90%)를 달로 달성했으나, 완료 시간은 가장 길었다(35분). LLM 전용 그룹은 가장 빨랐으나(24분) 정확도는 88%였고, 검색 엔진 전용 그룹은 정확도 80%, 완료 시간 31분이 소요되었다.
질적 주제: 네 가지 주요 주제가 도출되었다:
1. 과업 적합성: LLM은 요약, 패러프레이징, 초안 작성에 선호되며, 검색 엔진은 규칙 검증 및 권위 있는 출처 확보에 선호된다.
2. 신뢰성: 학생들은 LLM의 환각 현상에 대한 우려 때문에 사실 확인을 위해 검색 엔진을 신뢰한다. 그럼에도 불구하고 LLM의 유창함은 높게 평가한다.
3. 인지 부하: LLM은 즉각적인 결과물을 제공함으로써 인지적 노력을 줄여주지만, 하이브리드 워크플로우는 시간이 더 소요되더라도 더 높은 확신과 품질을 이끌어낸다.
4. 상호작용: LLM은 대화형 튜터로 간주되는 반면, 검색 엔진은 안정적이지만 더 많은 사용자 주도성을 요구하는 것으로 간주된다.
선호도: 대다수의 참가자는 어느 한 도구에만 의존하기보다 하이브리드 전략을 선호한다고 밝혔다.

주요 기여

실증적 근 증거: 본 연구는 영어 시험 준비라는 맥락 내에서 LLM과 전통적 검색 엔진을 비교하는 데이터를 제공하며, 정보 탐색 전략에 따른 숙련도와 오류율에 대한 수치적 값을 제시한다.
행동 분석: 학습자의 인지, 신뢰, 그리고 대화형 AI와 전통적 검색 사이의 전환에 대한 질적 통찰을 제공하며, 도구 선택의 맥락 의존적 특성을 강조한다.
하이브리드 인터페이스 모델: 연구 결과에 기반하여, 저자들은 인간-컴퓨터 상호작용(HCI) 중심의 하이브리드 인터페이스 모델을 제안한다. 이 개념적 프로토타입은 전통적인 검색 환경 내에 LLM 어시스턴트를 직접 삽입하는 형태이다. 이 디자인은 대화형 보조(요약, 초안)를 제공하는 동시에, 생성된 출력물을 기저의 출처와 명시적으로 연결하여 검증을 지원함으로써, 학술적 엄밀성을 해치지 않으면서도 워크플로우의 파편화와 인지 부하를 줄이는 것을 목표로 한다.

의의 및 주장
본 논문은 LLM과 전통적 검색 엔진을 경쟁 관계에 있는 기술이 아니라, 효과적인 학술적 워크플로우를 위한 상호 보완적인 구성 요소로 보아야 한다고 주장한다. 연구는 학생들이 효율성과 정확성의 균형을 맞추기 위해 자연스럽게 적응형 전략을 채택하고 있음을 시사한다. 본 연구의 의의는 '균형 잡힌 하이브리드' 접근 방식이 비록 시간적 비용은 발생하지만 가장 높은 정확도를 산출한다는 점을 입증함으로써, 고부담 학습 환경에서의 필수적인 절충 관계를 보여준 데 있다.

저자들은 제안된 프로토타입을 완전한 구현 시스템이라기보다 상호작용 원리를 설명하기 위한 개념적 설계로 겸허하게 규정한다. 또한 단일 기관 표본, 자기 보고 데이터에 대한 의존성, 실제 장기적 학습 경험을 완전히 반영하지 못할 수 있는 통제된 과업 사용 등의 한계점을 인정한다. 이에 따라 본 논문은 더 큰 규모의 교차 문화적 표본, 객관적인 행동 데이터(예: 클릭스트림, 안구 추적), 그리고 제안된 하이브리드 상호작용 모델을 실제 교육 환경에서 검증하기 위한 종단적 연구를 포함한 후속 연구를 촉구한다.

유사한 논문