Syllable-timescale organization of auditory–motor feedback control

당신이 테이블을 두드리는 손가락의 완벽한 리듬을 유지하려고 노력하는 모습을 상상해 보세요. 이제 누군가가 당신의 두드림을 녹음해서 아주 미세한 지연(delay)을 두고 당신의 귀에 다시 들려준다고 상상해 보세요. 만약 그 지연이 딱 적절하다면, 당신의 뇌는 혼란에 빠지고, 리듬은 깨지며, 당신은 아무렇게나 두드리게 될 것입니다. 이것이 바로 과학자들이 언어 연구를 위해 1950년대부터 사용해 온 '지연 청각 피드백(Delayed Auditory Feedback, DAF)' 효과입니다.

수십 년 동안 연구자들은 가장 큰 혼란을 야기하는 지연 시간이 항상 약 200 ms(밀리초)라는 기묘한 현상을 발견했습니다. 그들은 이것이 대략 한 음절(예: "타" 또는 "바")을 말하는 데 걸리는 시간과 비슷하기 때문이라고 추측했습니다. 그들은 뇌에 고정된 '타이머'가 있어서, 자신이 들은 소리가 예상했던 소리와 일치하는지 확인하는 창구가 있고, 만약 지연이 그 특정 200 ms 구간을 방해하면 시스템이 고장 난다고 생각했습니다.

하지만 여기 반전이 있습니다: 만약 뇌에 고정된 타이머가 전혀 없다면 어떨까요? 만약 뇌의 '타이머'가 당신이 말하는 속도에 맞춰서 늘어나거나 줄어드는 유연한 것이라면 어떨까요?

이것이 바로 M. 플로렌시아 아사네오(M. Florencia Assaneo)와 그녀의 팀이 멕시코 국립 자치 대학교(Universidad Nacional Autónoma de México)에서 밝혀내고자 했던 핵심입니다. 그들은 단순히 추측만 한 것이 아니라, 실험을 수행하고, 컴퓨터 뇌를 구축했으며, 심지어 EEG 센서를 통해 인간의 뇌 내부를 들여다보며 이 미스터리를 해결하고자 했습니다.

시계와의 경주

먼저, 연구팀은 15명의 사람들을 한 방에 모아 놓고 두 가지 다른 속도로 음절 시퀀스("타-테-티-토-투")를 읊조리게 했습니다. 하나는 느긋한 초당 3음절이었고, 다른 하나는 긴박한 초당 6음절이었습니다.

사람들이 읊조리는 동안, 연구원들은 목소리를 각각 30 ms, 80 ms, 160 ms, 240 ms, 320 ms, 400 ms의 지연 시간을 두고 다시 들려주었습니다. 연구원들은 화자들이 저지른 실수(예: 음절 반복 또는 순서 오류)의 횟수를 기록했습니다.

그 결과는 "아하!" 하는 순간을 선사했습니다.

• 화자가 빠르게 말할 때(초당 6음절), 가장 큰 혼란을 일으킨 지연 시간은 약 80 ms였습니다.
• 화자가 느리게 말할 때(초당 3음절), 혼란은 160 ms에서 정점에 달했습니다.

"가장 파괴적인" 지연 시간은 200 ms에 고정되어 있지 않았습니다. 대신, 그것은 말하기 속도에 맞춰 완벽하게 **비례(scale)**했습니다. 만약 당신이 두 배 더 빠르게 말한다면, 뇌가 혼란을 느끼는 '스위트 스팟(sweet spot)'도 두 배 더 빠르게 찾아옵니다. 이는 뇌가 고정된, 미리 설정된 시계를 사용하는 것이 아니라, 현재 말하고 있는 음절의 길이에 맞춘 유연한 창(window)을 사용하고 있음을 시사합니다.

컴퓨터 뇌 테스트

이것이 단순한 우연이 아님을 확인하기 위해, 연구진은 어떤 것이 인간의 복잡한 데이터를 설명할 수 있는지 알아보기 위해 세 가지 서로 다른 "컴퓨터 뇌"(신경 계산 모델)를 구축했습니다.

1. "지점별(Point-by-Point)" 로봇: 이 모델은 모든 아주 작은 순간마다 음파를 비교했습니다. 이 모델은 인간의 결과를 재현하는 데 실패했습니다.
2. "리듬(Rhythm)" 로봇: 이 모델은 실제 소리의 내용(content)은 무시한 채 오직 타이밍과 리듬에만 집중했습니다. 이 모델 역시 실패했습니다.
3. "음절(Syllable)" 로봇: 이 모델은 인간처럼 행동했습니다. 이 모델은 매 밀리초마다 체크하는 대신, 하나의 음절이 끝날 때까지 기다렸다가, 그 소리의 덩어리를 단순한 요약본으로 압축한 다음, 그것을 예상했던 것과 비교했습니다.

오직 음절 로봇만이 실험 결과를 성공적으로 재현했습니다. 이 모델은 뇌가 소리를 점검하기 전에 소리를 음절 크기의 덩어리로 그룹화한다는 것을 보여주었습니다. 만약 지연이 그 특정 덩어리의 타이밍을 망가뜨리면, 뇌는 패닉에 빠집니다. 이 시뮬레이션은 '음절'이 우리가 말하는 방식을 제어하는 데 있어 근본적인 단위이며, 우리의 청각 피드백을 담는 자연스러운 용기 역할을 한다는 것을 시사합니다.

뇌의 "쉿!" 소리 듣기

마สุดท้าย로, 연구팀은 뇌 내부에서 어떤 일이 일어나고 있는지 알고 싶었습니다. 그들은 28명의 참가자로부터 EEG(뇌파)를 사용하여 전기적 활동을 기록했습니다.

우리가 말을 할 때, 뇌는 보통 우리 귀에 "쉿!" 신호를 보내 자신의 목소리 소리를 줄입니다. 이를 **언어 유발 청각 억제(Speech-Induced Auditory Suppression, SIAS)**라고 합니다. 이는 마치 뇌가 "내가 그 소리를 내고 있다는 걸 알고 있으니, 그렇게 크게 들을 필요는 없어"라고 말하는 것과 같습니다.

연구진은 이 "쉿!" 신호가 음절 속도에도 의존한다는 것을 발견했습니다. 피드백 지연이 250 ms로 고정되었을 때, 뇌의 억제 작용은 사람들이 느리게 말할 때(3 Hz) 더 강했고, 빠르게 말할 때(6 Hz) 더 약했습니다.

이는 자신의 목소리를 예측하고 억제하는 뇌의 능력이 단순히 절대적인 시간 지연에 관한 것이 아님을 확인시켜 줍니다. 그것은 지연이 음절의 리듬 안에 어떻게 들어맞느냐에 관한 것입니다. 만약 지연이 음절의 리듬을 깨뜨리면, 뇌의 예측은 실패하고 "쉿!" 신호는 약해집니다.

결론

그렇다면 우리는 무엇을 배웠을까요?

• 주요 발견: 뇌는 음절을 중심으로 언어 피드백을 조직합니다. 뇌는 고정된 200 ms 타이머를 사용하는 대신, 당신이 얼마나 빨리 말하느냐에 따라 늘어나거나 줄어드는 유연한 창을 사용합니다.
• 배제된 것: 뇌가 매 밀리초마다 단순하고 연속적으로 음파를 비교하거나, 말하기 속도와 상관없이 변하지 않는 고정된 리듬에만 의존한다는 아이디어는 부정되었습니다. 데이터와 시뮬레이션은 이러한 더 단순한 개념들이 작동하지 않음을 보여줍니다.
• 얼마나 확실한가? 연구팀은 **수렴적 증거(convergent evidence)**를 확보했습니다. 그들은 인간에게서 이 행동을 측정했고, 컴퓨터 모델을 통해 시뮬레이션했으며(음절 기반 모델만이 재현에 성공함), 뇌의 해당 신경 신호를 관찰했습니다.

이 논문이 언어의 모든 미스터리를 풀었다고 주장하는 것은 아니지만, 음절이 뇌의 언어 제어 구조에서 핵심적인 구성 요소라는 강력하고 직접적인 증거를 제공합니다. 마치 뇌는 '덩어리(chunk)' 단위로 말하며, 만약 그 덩어리의 타이밍을 망가뜨리면 전체 대화가 비틀거리게 되는 것과 같습니다.