Detecting Self-Repairs from Spontaneous Speech with Prompt Ablation Across LLMs and Fine-Tuned Encoder

인간의 목소리는 단어 그 이상을 전달하며, 사고의 리듬을 담고 있습니다. 우리가 말을 할 때, 특히 피곤하거나 주의가 산만하거나 적절한 단어를 찾으려 애쓸 때, 우리의 문장은 종종 비틀거립니다. 우리는 구절을 시작했다가 멈추고, 다시 다른 구절로 시작하기도 합니다. 인지 건강 분야에서 이러한 망설임과 수정의 순간은 '자기 수정(self-repairs)'이라고 알려져 있습니다. 수십 년 동안 연구자들은 이러한 자기 수정의 빈도와 성격이 뇌 건강의 미묘한 창 역할을 하여, 더 명백한 증상이 나타나기 훨씬 전부터 인지 저하의 초기 단계를 신호할 수 있다고 의심해 왔습니다. 문제는 이러한 수정이 매우 순식간에 일어나며 맥락에 따라 달라진다는 점이었습니다. 이는 특정 단어에 의해 정의되는 것이 아니라, 화자가 문장 중간에 자신의 생각을 바꾸는 방식에 의해 정의됩니다. 이를 녹음된 내용에서 자동으로 식별하는 것은 어려운데, 컴퓨터가 단순히 어휘를 이해하는 것을 넘어 대화의 흐름을 이해해야 하기 때문입니다.

펜실베이니아 대학교의 연구팀은 인공지능에게 자연스러운 발화 속에서 이러한 자기 수정을 포착하도록 가르침으로써 이 문제를 해결하고자 했습니다. 연구진은 기억력과 언어 능력을 평가하는 데 사용되는 표준 과업인 '쿠키 도둑(Cookie Theft)' 그림을 설명하는 특정 유형의 음성 샘플에 집중했습니다. 목표는 현대의 거대 언어 모델(방대한 양의 텍스트로 학습된 강력한 컴퓨터 시스템)이 인간 전문가만큼 정확하게 이러한 수정을 감지할 수 있는지, 그리고 더 작고 비용이 적게 드는 컴퓨터 모델도 동일한 작업을 수행할 수 있는지 확인하는 것이었습니다. 연구진은 두 가지 매우 다른 접근 방식을 비교했습니다. 하나는 상당한 컴퓨팅 파워가 필요한 클라우드 기반의 거대 AI를 사용하는 것이고, 다른 하나는 로컬 기기에서 실행될 가능성이 있는 훨씬 작고 특화된 모델을 사용하는 것이었습니다. 또한, 특정 역할을 부여하거나 추론 과정을 설명하도록 요청하는 등 AI에게 과업을 수행하는 방식을 바꾸는 것이 정확도를 향상시키는지도 테스트했습니다.

연구 결과, AI 모델의 크기는 예상과는 다른 방식으로 중요한 영향을 미쳤습니다. 보안 인터넷 연결을 통해 접속하는 정교한 시스템인 가장 큰 모델이 가장 정확한 탐지기임이 증명되었습니다. 이 모델은 테스트 케이스의 약 73%에서 자기 수정을 정확히 식별해 냈으며, 이러한 성능은 연구진이 지시 사항을 어떻게 표현하든 일정하게 유지되었습니다. 이 최고 성능의 모델은 프롬프트의 구체적인 세부 사항에 크게 영향을 받지 않았는데, 이는 지시가 단순하든 복잡하든 상관없이 수정 사항을 안정적으로 찾아낼 수 있음을 의미합니다. 반면, 계산 비용이 거의 100배 적은 훨씬 작은 오픈 소스 모델은 크게 고전했습니다. 이 모델은 약 47%의 사례에서만 자기 수정을 감지해 냈으며, 지시문이 어떻게 작성되었는지에 따라 성공률이 급격히 변하는 높은 민감도를 보였습니다. 연구진은 지시를 더 상세하게 만들거나 작은 모델에게 답변하기 전에 단계별로 '생각'하도록 요청하는 것이 이 모델이 더 큰 시스템을 따라잡는 데 도움이 되지 않는다는 것을 발견했습니다. 사실, 작은 모델에게 문제에 대해 추론하도록 요청하는 것은 오히려 상황을 악화시켜, 수정이 아닌 부분을 수정으로 잘못 표시하게 만들기도 했습니다.

아마도 가장 놀라운 발견은, '파인 튜닝된 인코더(fine-tuned encoder)'라고 알려진 아주 작고 특화된 컴퓨터 프로그램이 훨씬 더 큰 오픈 소스 모델만큼 잘 수행할 수 있었다는 점입니다. 일반적인 하드웨어에서도 실행될 수 있도록 설계되어 효율적인 이 작은 프로그램은 음성 수정에 관한 특정 데이터셋을 학습했습니다. 충분한 학습 사례가 주어졌을 때, 이 모델은 계산 비용이 거의 100배나 적음에도 불구하고 더 큰 오픈 소스 모델의 성능과 일치하는 모습을 보였습니다. 그러나 이 작은 모델이 오픈 소스 모델과 성능이 일치했을지라도, 두 모델 모두 최상위 클라우드 기반 시스템에는 크게 뒤처졌다는 점에 유의해야 합니다. 이는 이 특정 의료 과업에서 병목 현상이 발생하는 지점이 컴퓨터 뇌의 규모 자체가 아니라, 음성 수정에 대한 고품질의 주석 처리된(annotated) 사례의 가용성이라는 점을 시사합니다. 연구진은 이 작은 모델이 특정 과업을 위해 전문화되기 전에 일반적인 대화형 음성 데이터셋으로 먼저 학습되었을 때 성능이 크게 향상되었다는 점에 주목했습니다. 이는 한계가 모델 자체의 용량이 아니라 라벨링된 데이터의 희소성에 있음을 나타냅니다.

또한 연구는 이러한 AI 시스템이 긴 문장을 처리할 때 드러내는 미묘한 결함도 밝혀냈습니다. 말하는 문장의 길이가 길어질수록, 작은 모델들은 정상적인 반복이나 휴지를 자기 수정으로 잘못 식별하며 더 많은 실수를 범하기 시작했습니다. 큰 모델은 이러한 문제로부터 비교적 자유로웠으며, 문장 길이와 관계없이 일정한 오류율을 유지했습니다. 이 발견은 가장 강력한 모델들이 현재로서는 가장 신뢰할 만하지만, 임상적 사용에 있어 상당한 단점을 가지고 있음을 강조합니다. 이 모델들은 환자의 데이터를 외부 서버로 전송해야 하므로 개인정보 보호 문제를 야기하며, 사용 시마다 지속적인 비용이 발생합니다. 로컬에 배포 가능한 작은 모델들은 개인정보를 보호하는 도구로서의 길을 제시하지만, 현재로서는 신뢰도 수준에 도달하기 위해 더 많은 학습 데이터가 필요합니다.

궁극적으로, 이 연구는 인지 스크리닝 도구가 정확하면서도 실용적일 수 있는 미래를 가리키고 있습니다. 자기 수정을 자동으로 감지하는 능력은 인지 장애의 초기 징후를 포착하는 종합적인 시스템을 구축하기 위한 유망한 단계입니다. 가장 강력한 AI 시스템이 현재 정확도 면에서 앞서고 있지만, 연구는 더 많은 데이터와 더 나은 학습이 뒷받/는다면 더 작고 로컬에서 실행되는 모델들도 결국 그 성능에 도달할 수 있음을 시사합니다. 이를 통해 의사들은 외부 클라우드 서비스에 의존하지 않고도 개인 진료실에서 이러한 도구들을 사용할 수 있게 되어, 인지 저하의 조기 발견을 더욱 접근하기 쉽고 안전하게 만들 수 있을 것입니다. 이 연구는 자기 수정이 뇌 건강을 모니터링하는 데 있어 유효한 신호임을 확인해주며, 차세대 효율적인 로컬 모델을 훈련하기 위한 적절한 데이터 자원이 개발된다면 이를 일상적인 임상 케어에 통합할 수 있는 명확한 경로를 제시합니다.