🤖 AI

Seeking Information with RAG-Assistants: Does Model Size Matter in Human-AI Collaborations?

본 연구는 현실적인 다회전 정보 탐색 시나리오에서 RAG 지원 채팅봇을 평가한 결과, 기반 모델의 크기와 관계없이 인간과 AI의 협업이 성능을 크게 향상시키지만 사용자 만족도와 인지된 사용성은 모델의 규모에 거의 영향을 받지 않는다는 점을 발견했습니다.

원저자: Lennard C. Froma, Tom Kouwenhoven, Maaike H. T. de Boer, Catholijn M. Jonker, Max J. van Duijn

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lennard C. Froma, Tom Kouwenhoven, Maaike H. T. de Boer, Catholijn M. Jonker, Max J. van Duijn

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 퍼즐을 풀려고 하는데, 지침이 기술 용어로 가득 찬 400 페이지 분량의 방대한 매뉴얼 속에 숨겨져 있다고 상상해 보세요. 여러분을 돕기 위해 두 가지 도구가 있습니다. 바로 스마트 어시스턴트(AI 챗봇)와 매뉴얼 그 자체입니다.

이 논문은 인간이 이러한 '스마트 어시스턴트'와 팀을 이루어 퍼즐을 풀 때, 서로 다른 크기의 어시스턴트가 얼마나 잘 작동하는지에 대한 성적표와 같습니다. 연구자들은 다음과 같은 질문을 던졌습니다. "더 큰 뇌(더 큰 AI 모델)

다음은 그들의 실험과 발견을 간단한 비유로 정리한 내용입니다:

설정: 세 가지 유형의 어시스턴트

연구자들은 서로 다른 '뇌 크기'(모델 크기)를 가진 세 가지 버전의 AI 어시스턴트를 만들었습니다.

**컴팩트한 뇌 **(3B): 작고 빠르며 효율적입니다. 기본 지식은 갖췄지만 미묘한 세부 사항을 놓칠 수 있는 매우 똑똑한 인턴이라고 생각하세요.
**중간 크기 뇌 **(8B): 한 단계 업그레이드된 버전입니다. 꽤 유능한 주니어 매니저라고 생각하세요.
**거대 뇌 **(70B): 방대하고 강력한 모델입니다. 방대한 지식 라이브러리를 갖춘 시니어 전문가라고 생각하세요.

반전: 이 어시스턴트들은 기억에서 무작정 '추측'하는 것이 허용되지 않았습니다. 모두 400 페이지 매뉴얼에 연결되어 있었습니다 (이 기술을 RAG(검색 증강 생성)라고 합니다). 이는 어시스턴트에게 도서관으로 가는 직접 전화선을 연결해 주어, 학교에서 외운 내용에 의존하기보다 사실을 즉시 찾아볼 수 있게 해주는 것과 같습니다.

실험: 인간 대 기계

연구자들은 112 명의 사람들을 '파일럿'(실제 파일럿은 아님) 으로 고용하여 매뉴얼에 대한 구체적인 질문에 답하도록 요청했습니다. 참가자들은 세 그룹으로 나뉘었습니다.

A 그룹: 컴팩트한 뇌 어시스턴트를 사용했습니다.
B 그룹: 중간 크기 뇌 어시스턴트를 사용했습니다.
C 그룹: 거대 뇌 어시스턴트를 사용했습니다.

참가자들은 AI 에게 질문하거나, PDF 매뉴얼을 직접 읽거나, 둘 다 섞어 사용할 수 있었습니다. 정답을 맞출 경우 추가 보수를 받았기 때문에 정확성을 높이려는 동기가 있었습니다.

주요 발견

1. '루프 내 인간 (Human-in-the-Loop)'의 힘

가장 중요한 발견은 AI 단독보다 인간이 AI 와 함께 일할 때 훨씬 더 뛰어났다는 것입니다.

비유: AI 를 길 안내를 해주는 GPS 라고 상상해 보세요. GPS 를 맹신하고 따라만 간다면 도로 폐쇄 같은 사실을 놓칠 수 있습니다. 하지만 지도를 보고 GPS 를 질문하며 "잠깐, 저건 이상해 보이네"라고 말할 수 있는 인간 운전자가 있다면, 팀은 훨씬 더 빠르고 정확하게 목적지에 도달합니다.
결과: AI 가 '컴팩트한', '중간 크기의', 혹은 '거대한' 뇌였든 상관없이, 인간-AI 팀은 AI 단독 작업보다 훨씬 높은 점수를 기록했습니다.

2. 더 큰 뇌가 중요한가? (정확도 테스트)

AI 가 단독으로 작업할 때: '거대 뇌'(70B) 가 스스로 답을 찾는 데 가장 뛰어났습니다. 반면 '컴팩트한 뇌'(3B) 는 더 어려움을 겪었습니다.
인간이 도움을 줄 때: 흥미로운 부분이 여기서 나옵니다. 인간이 '컴팩트한 뇌'와 팀을 이룰 때, 인간이 공백을 메워주었습니다. 팀의 성과가 급격히 상승하여 작은 뇌와 거대한 뇌 사이의 격차가 사라졌습니다.
교훈: 인간 파트너는 작고 저렴한 AI 가 거대하고 비싼 AI 와 똑같이 잘 수행할 수 있도록 도와줄 수 있습니다.

3. 인간은 무엇을 느꼈는가? (만족도 테스트)

연구자들은 참가자들에게 질문했습니다. "어시스턴트가 마음에 들었나요? 사용하기 쉬웠나요? 신뢰할 수 있었나요?"

놀라운 점: '거대 뇌'가 단독으로 일할 때 기술적으로 가장 똑똑했음에도 불구하고, 인간들은 세 어시스턴트가 함께 일할 때 큰 차이를 느끼지 못했습니다.
미묘한 차이: 명확한 선호도는 '거대 뇌'가 약간 더 신뢰할만하다고 느꼈다는 점뿐이었습니다. 그러나 그 외의 모든 것 (대화의 용이성, 선호도, 몰입도 등) 에 대해서는 '컴팩트한', '중간 크기의', '거대한' 뇌의 평가가 거의 동일했습니다.
비유: 소형차, 세단, 럭셔리 SUV 라는 세 가지 다른 차를 조종석에 동승자가 함께 타고 운전하는 것과 같습니다. 럭셔리 SUV 가 더 강력한 엔진을 갖췄더라도, 동승자가 항해를 도와주면 럭셔리 차가 소형차보다 더 나은 운전 경험이라고 느끼지 않을 수 있습니다.

이것이 중요한 이유

이 논문은 우리가 컴퓨터 테스트 (벤치마크) 에서 더 높은 점수를 얻기 위해 AI 모델을 점점 더 크게 만드는 데 집착한다고 주장합니다. 하지만 실제로 인간이 도구를 사용하는 현실 세계에서는 다음과 같습니다.

협력이 핵심: AI 의 크기와 상관없이 인간 + AI 는 승리하는 팀입니다.
더 크다고 해서 항상 '더 좋다'고 느끼지는 않는다: 사용자는 거대하고 비싼 모델이 작은 모델보다 작업하기가 훨씬 더 낫다고 반드시 느끼지는 않았습니다.
효율성: 작은 모델은 저렴하고 빠르며, 인간이 도움을 주면 똑같이 잘 수행할 수 있으므로, 모든 작업에 거대하고 에너지를 많이 소비하는 모델을 구축할 필요는 없을지도 모릅니다.

간단히 말해: 더 작고 간단한 도구를 사용하는 똑똑한 인간이 도와준다면, 문제를 해결하기 위해 항상 슈퍼컴퓨터가 필요한 것은 아닙니다. 인간-AI 파트너십은 경쟁의 장을 평평하게 만듭니다.

기술 요약: RAG 어시스턴트를 활용한 정보 탐색: 인간-AI 협업에서 모델 크기는 중요한가?

문제 제기
대형 언어 모델 (LLM) 에 대한 광범위한 연구는 벤치마크 성능 향상에 초점을 맞추고 있지만, 실제 다중 턴 인간-AI 협업 워크플로우에서 이러한 모델들을 평가하는 작업은 여전히 미흡한 상태입니다. 현재의 평가는 종종 단일 턴 상호작용에서 도출된 정량적 지표 (정확도, 정밀도, 재현율) 에 의존하며, 이는 더 큰 상업적 모델을 선호할 뿐만 아니라 전문적인 정보 탐색 작업의 뉘앙스를 포착하지 못합니다. 민감한 데이터와 엄격한 규정 준수 (예: EU AI 법) 가 관련된 직장 환경에서는 로컬 배포가 가능한 오픈 가중치 모델에 대한 요구가 있습니다. 그러나 이러한 모델들이 협업 환경에서 적절한 성능과 사용성을 유지하면서 RAG(검색 증강 생성) 시스템에 통합될 때 얼마나 작을 수 있는지는 여전히 명확하지 않습니다.

방법론
저자들은 현실적인 정보 탐색 시나리오에서 챗봇 스타일의 RAG 어시스턴트를 평가하기 위해 112 명의 참가자를 대상으로 사용자 실험을 수행했습니다.

작업: 참가자들은 구조적 복잡성과 도메인 특이성을 위해 선택된 400 페이지 이상의 항공 매뉴얼을 기반으로 9 가지 상세 질문에 답했습니다.
조건: 이 연구는 두 가지 설정에서 Llama 계열의 세 가지 모델 크기 (3B, 8B, 70B) 를 비교했습니다.
1. 베이스라인 (LLM+RAG): RAG 어시스턴트가 원래 질문에 직접 답변하는 단일 샷 상호작용.
2. 인간-AI 협업: 참가자가 RAG 어시스턴트와 여러 턴에 걸쳐 상호작용하거나, 소스 문서를 직접 쿼리하거나, 두 가지 방법을 모두 결합할 수 있는 설정.
시스템 아키텍처: RAG 파이프라인은 순차적 접근 방식을 사용했습니다. 문서는 1024 크기로 청크화되고 intfloat/multilingual-e5-large-instruct 를 사용하여 임베딩되었습니다. 쿼리를 받으면 시스템은 코사인 유사도를 기반으로 상위 5 개의 관련 청크를 검색하여 시스템 프롬프트와 함께 생성 LLM 에 전달했습니다.
평가 지표:
- 객관적 성능: 참가자와 질문 변이를 통제하는 선형 혼합 효과 모델을 통해 측정된 답변의 정확도 (정답, 부분 정답, 오답).
- 주관적 지표: ASA 프레임워크에 기반한 10 개 항목의 설문지 (5 점 리커트 척도) 를 사용하여 지각된 사용성과 만족도를 평가했습니다.
- 효율성: 작업 완료 시간이 기록되었습니다.

주요 기여

모델 크기의 체계적 평가: 하이브리드 인간-AI 환경에서 소형 오픈 가중치 LLM(3B, 8B, 70B) 기반 RAG 어시스턴트에 대한 비교 분석.
현실적 시나리오 시뮬레이션: 표준 벤치마크 데이터셋을 넘어 대규모 복잡 문서를 포함하는 전문 정보 탐색 작업을 모방한 실험 설계.
다중 턴 상호작용 분석: 단일 턴 성능이 아닌 인간-AI 협업의 역동성을 강조하며 여러 턴에 걸친 정확도, 사용성 및 만족도를 측정하는 실험.

결과

인간-AI 협업의 가치: 모든 모델 크기에서 인간-AI 설정이 LLM 전용 및 LLM+RAG 베이스라인 설정을 모두 유의미하게 능가했습니다 ( $p < .001$ ). 이는 정보 탐색 작업에서 인간 상호작용의 부가 가치를 확인시켜 줍니다.
모델 크기가 정확도에 미치는 영향:
- 베이스라인 (LLM+RAG) 설정에서는 3B 에서 8B 로, 그리고 3B 에서 70B 로 성능이 유의미하게 향상되었습니다.
- 인간-AI 설정에서는 8B 와 70B 모델 간의 성능 격차가 해소되었습니다; 인간이 보조할 때 8B 모델은 70B 모델과 비교 가능한 성능을 발휘했습니다.
- 3B 모델은 인간 협업으로부터 가장 큰 혜택을 받아 더 큰 모델들과의 격차를 좁혔습니다.
지각된 사용성과 만족도: 객관적 성능 경향과 대조적으로, 지각된 사용성과 만족도는 모델 크기 간에 거의 차이가 없었습니다.
- 70B 모델은 신뢰성과 전체 ASA 점수에서 8B 모델보다 유의미하게 높은 평가를 받았지만, 3B 모델은 참여도와 반응성 측면에서 동등하거나 더 좋은 점수를 받았습니다.
- 전반적으로 참가자들은 사용자 경험 측면에서 더 큰 모델이 더 작은 모델보다 결정적으로 더 유능하다고 인식하지 않았습니다.
상호작용 전략: 참가자들은 주로 "복사 - 붙여넣기" 전략을 사용했습니다. 이것이 실패할 경우 "분할"(질문 나누기), "맥락화"(발췌문 제공), "되돌아가기"와 같은 전략을 사용했습니다.

의의 및 주장
이 논문은 모델 크기가 베이스라인 성능에 영향을 미치지만, 인간-AI 협업은 더 작고 더 큰 모델 간의 성능 격차를 해소할 수 있는 완화 요인으로 작용한다고 주장합니다. 이 연구는 더 큰 모델이 더 작고 효율적인 모델에 비해 반드시 더 높은 지각된 사용성이나 만족도를 산출하지는 않는 "미묘한 트레이드오프"를 강조합니다.

저자들은 이 작업이 실제 다중 턴 상호작용에서 인간 사용자와 함께 AI 응용 프로그램을 평가할 필요성을 보여준다고 주장합니다. 그들은 하이브리드 시스템의 시너지 효과와 주관적 사용자 경험을 간과하기 때문에 벤치마크 성능에만 집중하는 것은 불완전한 그림을 제공한다고 제안합니다. 이 연구 결과는 인간의 감독이 모델의 한계를 보완할 수 있는 협업 워크플로우에 통합된다면, 더 작고 로컬 배포가 가능한 모델의 RAG 응용 프로그램 사용이 타당함을 뒷받침합니다.