When the Interviewer Is a Bot: Behavior, Breakdowns, and Trust in MLLM-Led Interviews

기계 속의 면접관

당신이 사람들이 어떻게 생각하고, 느끼고, 문제를 해결하는지 이해하려고 노력하고 있다고 상상해 보십시오. 수십 년 동안 과학자들은 사람들과 마주 앉아 질문을 던지는 "반구조화된(semi-structured)" 방식으로 이 작업을 수행해 왔습니다. 이것은 마치 가이드가 있는 하이킹과 같습니다. 연구자는 지도(다루어야 할 주제의 개요)를 가지고 있지만, 하이커가 가리키는 흥미로운 길을 따라 경로를 벗어나 자유롭게 이동할 수도 있습니다. 이 방식은 유연하다는 점에서 강력하지만, 매우 소모적입니다. 사람이 이야기를 듣고, 적절한 후속 질문을 던지고, 대화가 자연스럽게 흐르도록 유지하는 데에는 많은 시간과 에너지가 필요하기 때문입니다.

최 최근, 새로운 도구가 등장했습니다. 바로 거대 멀티모달 모델(Large Multimodal Model, MLLM)입니다. 여러분도 대화하고, 듣고, 볼 수 있는 똑똑한 AI 챗봇으로 알고 계실 것입니다. 과학자들은 다음과 같은 의문을 갖기 시작했습니다. "AI가 면접을 보게 하면 어떨까?" 이는 효율성 측면에서 꿈같은 이야기처럼 들립니다. 하지만 여기에는 함정이 있습니다. 인터뷰는 단순히 데이터를 추출하는 과정이 아닙니다. 그것은 신뢰, 눈맞춤, 그리고 누군가가 진심으로 내 말을 듣고 있다는 느낌을 바탕으로 구축된 사회적 춤(social dance)입니다. 만약 우리가 인간을 로봇으로 바꾼다면, 그 춤은 여전히 작동할까요? 아니다, 음악이 멈춰버릴까요? 이 논문은 로봇이 실제 대화를 주도할 때 어떤 일이 벌어지는지를 테스트하며 바로 그 질문을 파고듭니다.

---

인간이 되려 했던 봇

연구진은 AI가 실시간 음성 기반 인터뷰를 진행할 때 실제로 어떤 일이 일어나는지 알아내기 위해 **인터뷰봇(InterviewBot)**이라는 시스템을 구축했습니다. 그들은 화려하고 새로운 로봇 두뇌를 만든 것이 아닙니다. 대신, 강력한 기성 AI 모델을 가져와서 주제 목록을 입력할 수 있는 간단한 인터페이스로 감쌌습니다. 그들은 이 "기본 설정" 상태의 AI가 스스로의 힘으로 어떻게 행동하는지 확인하고자 했으며, 15명의 실제 사람을 대상으로 인터뷰어를 맡겼습니다.

설정은 간단했습니다. 참가자가 자리에 앉으면 인터뷰봇이 AI 도구에 대한 경험을 묻는 질문을 던집니다. 봇이 인터뷰를 마치면, 인간 연구자가 돌아와 참가자에게 "기분이 어떠셨나요?"라고 묻습니다.

결과는 놀라운 결함과 우리가 기계를 신뢰하는 방식에 대한 깊은 통찰이 뒤섞인 형태였습니다. 연구진이 발견한 내용은 다음과 같습니다.

봇의 "나쁜 습관들"

연구진이 봇의 대화 차례(봇이 발언하는 특정 순간)를 분석했을 때, AI에게 몇 가지 뚜렷한 특이점이 있음을 발견했습니다.

첫째, 봇은 고개를 끄덕이는 데는 능숙했지만, 깊이 파고드는 데는 서툴렀습니다. 즉, "공감은 많지만 탐구는 부족"했습니다. 봇이 하는 모든 발언 중에서 "흥미롭네요"라거나 "그렇군요"와 같은 말을 하는 데 많은 시간을 할애했습니다. 그러나 더 자세한 내용을 끌어내기 위해 깊이 있는 후속 질문을 던지는 데 있어서는 거의 역할을 하지 못했습니다. 전체 발언 중 심층적인 탐구 질문은 단 **4.9%**에 불-과했습니다. 이는 마치 당신이 하는 모든 말에 "와!"라고 반응하면서도, 정작 "왜?"나 "더 말해줄래요?"라고는 절대 묻지 않는 친구와 같았습니다.

둘째, 봇은 대화의 가장 기본적인 규칙인 **'한 번에 하나씩 질문하기'**를 지키는 데 어려움을 겪었습니다. 연구진이 명시적으로 "한 번에 하나의 질문만 하세요"라고 명령했음에도 불구하고, 질문을 던지는 차례의 **28.7%**에서 봇은 이 지시를 무시했습니다. 봇은 한 문장에 두세 개의 질문을 몰아넣곤 했습니다. 그 결과, 참가자들은 종종 혼란을 느껴 첫 번째 부분에 대해서만 답변했고, 나머지 데이터는 버려지게 되었습니다.

셋째, 시스템에는 기술적인 문제들이 있었습니다. 연구진은 인터뷰가 무너지는 네 가지 주요 방식을 관찰했습니다.

1. 정보 손실: 봇이 한 번에 너무 많은 질문을 던졌기 때문에, 사람들은 질문의 일부를 놓쳤습니다.
2. 조기 종료: 한 사례에서는 봇이 참가자가 생각을 이어가는 도중에 그냥 말을 멈춰버렸습니다.
3. 지연 시간(Latency): 때때로 봇이 응답하는 데 너무 오래 걸려 사람들은 봇이 다운되었거나 자신을 잊었다고 생각했습니다.
4. 방해(Interruption): 봇은 사람들이 말을 끊고 들어올 수 있도록 하는 기능("바지 인(barge-in)")을 시도했지만, 기술이 완벽하지 않았습니다. 봇은 사람들이 말하게 두는 대신 오히려 사람들의 말을 끊어버려, 대화가 툭툭 끊기고 무례하게 느껴지게 만들었습니다.

사람들이 느낀 것: 방 안의 "유령"

연구에서 가장 흥고한 부분은 봇의 실수 자체가 아니라, 인간이 그 실수에 어떻게 반응했느냐는 점이었습니다. 연구진은 로봇에게 인터뷰를 당할 때 사람들이 느끼는 세 가지 큰 주제를 발견했습니다.

1. "안전한 공간" vs "얕은 대화"의 역설
일부 참가자들은 봇과 대화하는 것에 의외로 편안함을 느꼈습니다. 인간이 자신을 쳐다보며 말투나 아이디어를 판단하지 않기 때문에 압박감을 덜 느꼈습니다. 한 참가자는 "봇은 혼란스러워하지 않았고... 제 요점을 아주 빠르게 전달했습니다"라고 언급했습니다. 이러한 비판단적 태도가 그들을 안전하게 만들었습니다.

하지만 반대의 측면도 있었습니다. 인간에게 깊은 인상을 남겨야 한다는 사회적 압박을 느끼지 못했기 때문에, 자신의 생각을 깊이 설명하려는 노력도 덜 하게 된 것입니다. 한 참가자는 "그냥 제 모든 답변에 대해 더 깊이 파고들 필요를 느끼지 못했습니다"라고 인정했습니다. 봇은 대화를 시작하기는 쉽지만, 깊게 들어가기는 어려운 공간을 만들어냈습니다. 그것은 마치 거울을 보고 말하는 것과 같았습니다. 무엇이든 말할 수는 있지만, 거울은 당신에게 더 많은 것을 말하도록 채찍질하지 않습니다.

2. "목소리"가 아닌 "기관"을 신뢰함
사람들이 인터뷰가 공정하거나 정당한지 판단할 때, 그들은 봇이 얼마나 말을 잘하는지를 보지 않았습니다. 대신 봇이 무엇을 '대표'하는지를 보았습니다. 만약 봇이 표준화된 과업(예: 빠른 설문조사)을 위해 사용된다면 사람들은 괜찮다고 생각했습니다. 하지만 만약 조직이 자신들과 대화할 시간이 없어서 봇을 사용한다는 느낌을 준다면, 사람들은 무시당한다고 느꼈습니다.

한 참가자는 "AI 인터뷰를 생각하면, 회사가 앉아서 대화할 시간이 없었다는 생각이 듭니다"라고 말했습니다. 봇은 단순한 도구가 아니라 하나의 '신호'였습니다. 만약 회사가 봇을 사용한다면, 그것은 그들이 사람에게 투자할 시간을 충분히 들이지 않았다는 신호가 되었습니다. 이는 봇이 실제로 스크립트를 매우 잘 따르고 있었음에도 불구하고 발생한 현상이었습니다!

3. 듣기 vs 그냥 고개 끄덕이기
참가자들은 가짜 경청을 포착하는 데 매우 예리했습니다. 봇은 "와, 흥미롭네요" 또는 "이해합니다"와 같은 일반적인 문구를 많이 사용했습니다. 참가자들은 이를 싫어했습니다. 그들은 이를 "문구 반복"이라고 불렀고, 공허하다고 느꼈습니다.

대신, 그들은 봇이 자신들의 말을 **재진술(paraphrase)**할 때 좋아했습니다. 봇이 그들의 구체적인 단어를 가져와서 내용(content)을 이해했음을 보여주기 위해 다시 표현했을 때, 참가자들은 자신이 경청되고 있다고 느꼈습니다. 로봇에게 있어 "적극적 경청"이란 "공감한다"라고 말하는 것이 아니라, 사실 관계를 이해했음을 증명하는 것이었습니다.

핵심 결론

이 연구는 AI가 기술적으로 인터뷰를 수행할 수는 있지만, 그것이 사회적 역학 관계 전체를 변화시킨다는 결론을 내립니다. AI는 단순히 인간 인터뷰어의 빠른 버전이 아니라, 완전히 다른 종류의 상호작용입니다.

연구진은 만약 미래에 AI를 인터뷰에 사용하고자 한다면, 단순히 AI가 마음대로 하게 두어서는 안 된다고 제안합니다. 우리는 다음과 같은 시스템을 설계해야 합니다:

• 깊이를 강제할 것: 봇이 그냥 넘어가지 않고 반드시 후속 질문을 던지도록 만드십시오.
• 투명할 것: 사람들이 무시당한다고 느끼지 않도록 왜 봇이 사용되는지 명확하게 설명하십시오.
• 진정으로 들을 것: 단순히 "멋지네요"나 "와"라고 말하는 대신, 재진술하거나 요약하도록 봇을 프로그래밍하십시오.

궁극적으로 이 논문은 AI가 강력한 도구이지만, 인간적 연결을 대체하는 마법의 도구는 아니라는 점을 시사합니다. 우리가 사람들의 풍부하고 깊은 이야기를 듣고 싶다면, 봇의 효율성이 대화를 가치 있게 만드는 핵심 요소, 즉 '누군가가 진심으로 내 말을 듣고 있다'는 느낌을 죽이지 않도록 주의해야 합니다.