🤖 AI

Enhancing Human-Like Responses in Large Language Models

이 논문은 자연어 이해, 대화의 일관성, 그리고 정서적 지능의 향상을 통해 거대 언어 모델의 인간다운 특성을 강화하는 기술들을 탐구하며, 이러한 기술이 사용자 상호작용과 AI 애플리케이션을 변화시킬 잠재력을 입증하는 동시에 그로 인해 발생하는 윤리적 문제들을 해결해야 할 필요성을 강조한다.

원저자: Ethem Yağız Çalık, Talha Rüzgar Akkuş

게시일 2026-02-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ethem Yağız Çalık, Talha Rüzgar Akkuş

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 백과사전적인 지식을 가진 도서관 보조원이 있다고 상상해 보세요. 이 보조원은 프랑스의 수도부터 별의 화학적 구성까지 세상의 거의 모든 질문에 답할 수 있습니다. 하지만 한 가지 문제가 있습니다. 이 보조는 마치 교과서를 읽는 로봇처럼 말한다는 것입니다. 이 보조는 "인공지능으로서, 저는 개인적인 경험을 가지고 있지 않습니다"라거나 "그 정보는 제공할 수 없습니다"와 같이 말합니다. 이는 정확하긴 하지만, 차갑고 딱딱하며 다소 지루하게 느껴집니다.

이 논문은 그 딱딱한 도서관 보조에게 이미 알고 있는 것을 잊지 않으면서도, 어떻게 따뜻하고 친근한 인간처럼 대화하도록 가르칠 것인가에 관한 것입니다.

다음은 그 과정을 간단한 단계별로 나누어 설명한 이야기입니다:

1. 문제점: "로봇" 같은 목소리

연구진은 강력한 AI 모델들(Llama, Qwen, Mistral 등)에서 시작했습니다. 이 모델들은 똑똑하지만, 격식을 차리고 정밀하게 답변하도록 훈련되었습니다. 당신이 "지금까지 받은 최고의 조언은 무엇인가요?"라고 물으면, 그들은 "저는 AI이며 조언을 받을 수 없습니다"라고 답할 수 있습니다. 이는 대화의 흐로를 깨뜨립니다. 목표는 이들이 복잡한 수학 문제를 풀거나 어려운 질문에 답하는 능력을 유지하면서도, 커피 한 잔을 하며 대화를 나누는 실제 사람처럼 들리게 만드는 것이었습니다.

2. 해결책: "인간적인" 교과서 만들기

AI에게 인간처럼 말하는 법을 가르치기 위해, 연구진은 특별한 교과서가 필요했습니다. 하지만 수백만 개의 실제 인간 대화 데이터를 가질 수 없었기에, 그들은 훨씬 더 똑똑한 AI(Llama 3 405B)를 선생님으로 사용하여 합성 데이터셋(가짜지만 현실적인 데이터 모음)을 구축했습니다.

선생님의 역할: 거대 AI는 질문(예: "당신이 가장 좋아하는 취미는 무엇인가요?")을 생성한 다음, 각 질문에 대해 두 가지 서로 다른 답변을 작성하도록 요청받았습니다.
- 답변 A ("선택된" 인간): 이 답변은 자연스럽고 따뜻하며 대화체였습니다. 예를 들어, "오, 저는 하이킹을 정말 좋아해요! 할머니께서 저에게 자연을 사랑하는 법을 가르쳐 주셨거든요..."라고 말할 수 있습니다.
- 답변 B ("거절된" 로봇): 이 답변은 딱딱하고 격식 있었습니다. "저는 AI 언어 모델입니다. 취미는 없으나, 하이킹의 이점에 대해 논의할 수는 있습니다..."라고 말할 것입니다.
결과: 그들은 AI가 "지루한 로봇" 답변과 "친근한 인간" 답변의 차이를 식별하는 법을 배우는 10,884개의 방대한 사례를 만들어냈습니다.

3. 훈련: AI에게 선택하는 법 가르치기

이 특별한 교과서가 준비되자, 연구진은 **직접 선호도 최적화(Direct Preference Optimization, DPO)**라고 불리는 기술을 사용했습니다. 이것은 강아지를 훈련시키는 것과 비슷합니다.

당신은 강아지에게 간식( "인간적인" 답변)과 돌멩이("로봇" 답변)를 보여줍니다.
그리고 "간식을 고른 착한 강아지구나!"라고 말해줍니다.
시간이 지나면 강아지는 자신이 원하는 것이 무엇인지 배우게 됩니다.

이 경우, AI는 "인간적인" 답변이 자신이 지향해야 할 "간식"이라는 것을 배웠습니다. 연구진은 LoRA(Low-Rank Adaptation)라는 방법을 사용했는데, 이는 AI의 뇌에 포스트잇을 붙여주는 것과 같습니다. AI의 뇌 전체를 다시 쓰는 대신(이는 느리고 위험할 수 있습니다), 성격을 미세하게 조정하기 위해 이러한 메모들을 추가했습니다. 이를 통해 AI가 더 친근해지는 법을 배우는 동안 수학 능력이나 일반 지식을 잊어버리지 않도록 보장했습니다.

4. 결과: 성공했는가?

연구진은 새로운 "인간적인" 모델들을 기존의 "로봇" 모델들과 비교 테스트했습니다.

인간의 투표: 연구진은 실제 사람들(주로 고등학생과 성인)에게 게임을 제안했습니다. 참가자들에게 두 개의 답변을 나란히 보여주되, 어떤 AI가 썼는지는 알려주지 않았습니다. 참가자들은 더 인간처럼 들리는 답변을 골라야 했습니다.
점수: 새로운 모델들이 **89%에서 90%**의 확률로 승리했습니다! 사람들은 친근하고 대화적인 답변을 선호했고, "AI로서..."로 시작하는 답변은 싫어했습니다.
두뇌 테스트: 또한 AI가 어려운 논리 및 수학 테스트를 통해 더 "멍청해졌는지" 확인했습니다. 결과는 AI가 이전과 거의 동일하게 똑똑하다는 것을 보여주었습니다. 단지 더 예쁘게 말하는 법을 배웠을 뿐입니다. 유일한 미세한 하락은 엄격한 형식 규칙을 따르는지 확인하기 위해 설계된 특정 테스트에서 나타났는데, 이는 더 자연스러워지기 위해 치러야 할 작은 대가입니다.

5. 한계 (제약 사항)

저자들은 실험의 결함에 대해 솔직하게 밝히고 있습니다:

"가짜" 데이터: AI를 사용하여 훈련 데이터를 만들었기 때문에, 그것이 완벽하게 실제적인 것은 아닙니다. 이는 다른 로봇이 쓴 책을 읽으며 언어를 배우는 것과 같아서, 실제 인간 삶의 무질서하고 혼란스러운 뉘앙스를 놓칠 수 있습니다.
투표자들: 답변에 투표한 사람들은 주로 영어가 모국어가 아닌 젊은 학생들입니다. 이는 무엇을 "인간답다"고 간주하는지에 영향을 미쳤을 수 있습니다.

6. 경고 (윤리)

논문은 진지한 주의 사항으로 끝을 맺습니다. 만약 AI가 너무 인간처럼 들린다면, 사람들은 그것이 기계라는 사실을 잊을 수 있습니다.

투명성: 저자들은 사람들이 속거나 부적절한 정서적 애착을 형성하지 않도록, AI가 반드시 "나는 로봇이다"라고 명확히 밝혀야 한다고 주장합니다.
편향: 만약 AI가 인간을 너무 잘 흉내 낸다면, 데이터에 포함된 인간의 편견이나 왜곡된 관점을 의도치 않게 복제할 수도 있습니다.

요약

요약하자면, 이 논문은 매우 똑똑하지만 딱딱한 AI를 가져와서, 특별한 "맛 테스트" 방식의 훈련을 통해 친근한 인간처럼 대화하도록 가르칠 수 있으며, 문제를 해결하는 지능을 떨어뜨리지 않으면서도 훨씬 더 즐겁게 대화할 수 있게 만들 수 있음을 보여줍니다. 그들은 자신들의 새로운 "친근한" 모델과 훈련 데이터를 다른 사람들이 사용할 수 있도록 온라인에 공개했습니다.

기술 요약: 대규모 언어 모델의 인간다운 응답 능력 향상

문제 정의
방대한 코퍼스 학습을 통한 자연어 이해의 비약적인 발전에도 불구하고, Llama, Qwen, Mistral Nemo와 같은 기본 대규모 언어 모델(LLM)은 종종 지나치게 격식 있고, 비인격적이며, 인간적인 대화에서 기대되는 정서적 조율이 부족한 응답을 생성합니다. 이러한 모델들은 구조화된 작업에는 뛰어나지만, 대화의 유연함, 공감 능력, 정서적 지능을 갖춘 상호작작용을 생성하는 데에는 자주 한계를 보입니다. 본 논문은 현재 LLM의 기계적 정밀함과 인간 의사소통의 자연스러운 유동성 사이의 간극을 해결하며, 격식 있거나 구조화된 영역에서의 정확성을 희생하지 않으면서도 "인간다움(human-likeness)"을 향상시키는 것을 목표로 합니다.

방법론
저자들은 특화된 합성 데이터셋 생성과 직접 선호도 최적화(Direct Preference Optimization, DPO)를 적용하여 기존의 지시 미세 조정(instruction-tuned) 모델을 미세 조정하는 파이프라인을 제안합니다.

합성 데이터셋 생성:
- 아키텍처: 팀은 질문 생성을 위해 Llama 3 405B를, 답변 생성을 위해 Llama 3 70B를 활용하였으며, 이는 Self-Instruct 방식을 따릅니다.
- 프롬프트 엔지니어링: 동일한 입력 질문에 대해 두 가지 뚜렷한 응답 유형을 이끌어내도록 맞춤형 시스템 프롬프트를 설계했습니다:
  - 선택됨(Chosen): 인간 같고, 대화적이며, 자연스럽고, 매력적인 응답.
  - 거부됨(Rejected): 격식 있고, 비인격적이며, 구조적이고, 정밀한 응답(종종 "저는 AI입니다"와 같은 자기 참조적 면책 조항을 포함함).
- 데이터 범위: 이 과정은 256개 주제(예: 여행, 스포츠, 가족, 기술)를 아우르는 10,884개의 샘플을 생성했습니다. 데이터는 주제의 다양성과 균형을 보장하기 위해 Atlas Nomic Map을 사용하여 시각화되었습니다.
- 파라미터: 창의성과 다양성을 극대화하기 위해 온도는 1, top-p는 1의 설정으로 생성을 진행했습니다.
모델 학습:
- 기술: 일반 지식의 파괴적 망각(catastrophic forgetting)을 방ни하기 위해 저차원 적응(Low-Rank Adaptation, LoRA)을 사용하였고, 인간다운 행동을 우선시하는 보상 메커니즘을 구현하기 위해 DPO를 결합했습니다.
- 미세 조정된 모델: 본 방법론은 세 가지 오픈 소스 지시 모델에 적용되었습니다:
  - Llama-3-8B-Instruct
  - Qwen-2.5-7B-Instruct
  - Mistral-Nemo-Instruct-2407
- 하이퍼파라미터: 학습에는 $2 \times 10^{-4}$ 의 학습률, 1 에포크(epoch), 그리고 특정 LoRA 설정( $r=8, \alpha=4$ ) 및 DPO 설정( $\beta=0.1$ )이 사용되었습니다. 낮은 $r$ 값은 모델의 사전 학습된 일반 능력을 보존하기 위해 가중치 업데이트를 제한하도록 의도적으로 선택되었습니다.
- 인프라: 학습은 2개의 NVIDIA A100 SXM (80 GB) GPU에서 수행되었습니다.

주요 기여

새로운 데이터셋: 인간다운 응답과 격식 있는 응답을 구분하도록 특별히 큐레이션된 합성 데이터셋을 제작하여 DPO 미세 조정을 위한 토대를 마련했습니다.
미세 조정된 모델: Hugging Face를 통해 공개된 세 가지 새로운 오픈 소스 모델("Human-Like-LLama-3-8B-Instruct", "Human-Like-Qwen-2.5-7B-Instruct", "Human-Like-Mistral-Nemo-Instruct")을 출시했습니다.
평가 프레임워크: 공식 지시 모델들과 "인간다움"을 정량적으로 평가하기 위해 Gradio를 통한 익명 투표 시스템을 구현했습니다.

결과

인간다움 평가: 500개 질문에 대해 2,000표의 투표를 진행한 블라인드 투표 연구 결과, 미세 조정된 모델들이 공식 모델들을 유의미하게 앞질렀습니다.
- Human-Like-Llama-3-8B-Instruct는 89.6%의 선택을 받았습니다.
- Human-Like-Qwen-2.5-7B-Instruct는 89.5%의 선택을 받았습니다.
- Human-Like-Mistral-Nemo-Instruct는 79.6%의 선택을 받았습니다.
- 이러한 선호도의 주요 동인은 기계적인 자기 면책 조항(예: "AI로서...")의 제거와 개선된 대화 흐름이었습니다.
벤치마크 성능: Open LLM Leaderboard(IFEval, BBH, MATH, GPQA, MuSR, MMLU-Pro) 평가에서 미미한 성능 저하를 보였습니다.
- 대부분의 모델은 주로 IFEval 벤치마크에 의해 주도되어 평균 점수가 약간 감소했습니다.
- IFEval을 제외했을 때, 일부 모델(Qwen 및 Mistral 변체)은 약간의 개선 또는 무시할 만한 변화를 보여, "인간다운" 튜닝이 일반적인 추론이나 작업별 정확도를 크게 저해하지 않았음을 나타냈습니다.

의의 및 주장
본 논문은 오픈 소스 모델이 더 대화적이고 인간의 의사소통과 밀접하게 닮은 응답을 생성하도록 효과적으로 미세 조정될 수 있음을 주장하며, 이는 격식 있고 비인격적인 출력 문제를 직접적으로 해결합니다. 저자들은 이러한 자연스러움의 향상이 일반적인 추론이나 작업 특정적 정확도에 눈에 띄는 손실 없이 달성되었음을 강조합니다.

본 연구는 심리학적 통찰과 합성 데이터 생성을 성공적으로 통합하여 AI와 인간 상호작용 사이의 간극을 메우는 방법을 조명합니다. 저자들은 모델과 데이터셋을 공개함으로써, AI 시스템을 더욱 매력적이고 실세계 응용 분야에서 효과적으로 만드는 미래 연구를 위한 자원을 제공하고자 합니다. 또한, 모델이 점점 더 인간과 닮아감에 따라 사용자 혼란을 방지하고 신뢰를 유지하기 위해 기계적 본질을 명확히 공개하는 것이 윤리적으로 필수적임을 언급하며, 이는 EU AI 법과 같은 프레임워크와 궤를 같이합니다.