Enhancing Law-Enforcement Audio Transcription: A LoRA-Based Adaptation of Whisper for BWC Footage

당신이 시끄러운 록 콘서트 한복판에서 대화를 들으려고 노력하고 있다고 상상해 보세요. 하지만 음악 대신 들리는 소음은 사이렌 소리, 고함, 그리고 자동차 충돌 소리입니다. 이제, 수백만 권의 책을 읽고 수천 개의 깨끗한 팟캐스트를 들으며 학습한 아주 똑똑한 로봇을 상상해 보세요. 이 로봇은 조용한 방 안의 차분한 목소리를 이해하는 데는 매우 뛰어나지만, 당신이 그 시끄러운 콘서트 녹음본을 건네주면 혼란에 빠집니다. 이 로봇은 "stop the car(차를 세워라)"를 "stop the jar(병을 세워라)"로 듣거나, 경찰이 사용하는 특정 암호어를 완전히 놓칠 수도 있습니다. 이것이 바로 음성을 텍스트로 변환하는 기술인 **자동 음성 인식(ASR)**의 세계입니다. 이 로봇들은 매일 더 똑똑해지고 있지만, 환경이 무질서하거나 로봇이 들어본 적 없는 특수한 은어를 사용할 때 종종 어려움을 겪습니다. 이는 매일 수천 시간의 바디캠(body-worn camera) 영상을 기록하는 경찰 부서에 큰 문제입니다. 만약 그들이 이 오디오를 빠르게 읽을 수 있는 텍text로 변환하지 못한다면, 그것은 마치 아무도 글자를 읽을 수 없는 도서관의 책들과 같아서, 중요한 증거를 찾거나 경찰이 대중과 어떻게 상호작나를 검토하는 것이 불가능해집니다.

이 논문은 **저차원 적응(Low-Rank Adaptation, LoRA)**이라는 영리한 기술을 사용하여 이 문제를 해결하려고 노력한 연구팀의 이야기를 들려줍니다. 이 전체 똑똑한 로봇을 처음부터 다시 가르치려고 하는 대신(이는 엄청난 시간이 걸리고 거대한 컴퓨터가 필요합니다), 그들은 로봇에게 작고 전문화된 "치트 시트(요약 노트)"를 주기로 했습니다. 그들은 이미 음성을 매우 잘 이해하고 있는 인기 AI 모델인 Whisper를 가져와서, 경찰 업무의 시끄럽고 혼란스러운 소리에 집중할 수 있도록 모델 전체 뇌의 아주 작은 부분(전체 부품의 단 0.3%만)을 미세하게 조정했습니다.

연구진은 이 작은 조정이 놀라운 효과를 냈다는 것을 발견했습니다. 53개의 실제 바디캠 영상을 통해 모델을 학습시킨 결과, AI가 저지르는 실수 횟수를 거의 40% 가까이 줄일 수 있었습니다. 실제로, 그들의 "치트 시트" 방식은 학습되지 않은 로봇이나 처음부터 완전히 다시 학습시킨 버전보다 훨씬 더 뛰어난 성능을 보였습니다. 그들은 이 치트 시트의 가장 작은 버전("랭크(rank)" 8)이 완벽한 크기라는 것을 발견했습니다. 즉, 까다로운 경찰 암호와 큰 소음을 배울 수 있을 만큼 충분히 크면서도, 혼란에 빠지지 않을 만큼 충분히 작았습니다. 그러나 그들은 치트 시트를 더 크게 만드는 것이 도움이 되지 않으며, 오히려 로봇을 약간 더 나쁘게 만든다는 사실도 발견했습니다. 이는 때로는 '적은 것이 더 낫다(less is more)'는 것을 시사합니다.

문제: 허리케인 속의 로봇

이 연구가 왜 중요한지 이해하기 위해, 경찰관의 바디캠을 작고 용감한 기자라고 상상해 보세요. 그것은 모든 것을 포착합니다: 경찰관의 목소리, 용의자의 목소리, 타이어의 비명 소리, 사이렌의 울부짖음, 그리고 군중의 웅성거림까지 말이죠. 인간에게 이것을 듣는 것은 어렵지만 가능합니다. 하지만 일반적인 음성 인식 로봇에게 이것은 악몽입니다.

이 로봇들은 보통 "깨끗한" 데이터, 예를 들어 명확한 뉴스 방송이나 도서관에서의 차분한 대화 등을 통해 학습됩니다. 이 로봇들은 경찰 무전기가 잡음으로 지직거릴 때 어떤 소리가 나는지, 혹은 자동차 충돌 소리 위로 "Mirandize(미란다 원칙 고지)"라는 말이 외쳐질 때 어떤 소리가 나는지 배울 기회가 거의 없었습니다. 로봇이 이런 이상한 소리를 들으면, 자신이 알고 있는 것을 바탕으로 추측하려고 합니다. "10-52"(경찰 코드)를 듣고 "ten fifty-two"라고 추측하거나, "Expedite(신속히 처리하다)"를 듣고 "expedite"를 "expect it(그것을 예상하다)"으로 추측할 수 있습니다. 이를 어휘 외(Out-of-Vocabulary, OOV) 장벽이라고 합니다. 로봇은 사각형의 말뚝을 억지로 원형 구멍에 끼워 맞추려 하고 있으며, 그 결과는 횡설수설하는 듯한 전사 결과물(transcript)입니다.

경찰 부서에 있어 이것은 거대한 병목 현상입니다. 그들은 페타바이트(정말 엄청난 양의 데이터입니다!) 규모의 영상 데이터를 보유하고 있습니다. 만약 특정 전술을 사용한 10초간의 순간을 찾고 싶다면, 현재로서는 사람이 직접 몇 시간의 오디오를 들어야 합니다. 이는 느리고 비용이 많이 들며, 규모를 키우는 것이 불가능합니다. 그들에게는 혼돈 속에서도 소리를 듣고 즉각적으로 이해할 수 있는 로봇이 필요합니다.

해결책: "치트 시트" 접근법

연구진은 간단한 질문을 던졌습니다. 우리가 경찰 업무에 대해 가르치기 위해 로봇의 뇌 전체를 재구축해야 할까요, 아니면 작고 전문화된 업그레이드를 제공하면 될까요?

그들은 인터넷의 거의 모든 것을 읽은 매우 유능한 학생과 같은 Whisper라는 모델을 선택했습니다. 이 학생이 알고 있는 모든 것을 잊어버리고 처음부터 다시 시작하게 만드는 대신(이를 "전체 미세 조정(full fine-tuning)"이라 하며 비용이 매우 많이 듭니다), 그들은 LoRA(Low-Rank Adaptation)라고 불리는 기술을 사용했습니다.

AI 모델을 수십억 개의 기어로 이루어진 거대하고 복잡한 기계라고 생각해 보세요. 무언가 새로운 것을 가르치려면 보통 모든 기어를 조정해야 합니다. 그것은 많은 시간과 에너지가 소요됩니다. LoRA는 두 특정 기어 사이에 작고 조절 가능한 심(shim, 얇은 판)을 끼워 넣는 것과 같습니다. 나머지 기계는 건드리지 않고, 오직 그 두 기어가 상호작용하는 방식을 바꾸는 아주 작은 유연한 조각만을 추가하는 것입니다.

이 연구에서 연구진은 로봇이 어떤 단어에 집중할지를 결정하는 부분("쿼리(query)" 및 "가치(value)" 레이어)에만 이 "심"을 추가했습니다. 그들은 이 심들을 53개의 바디캠 영상을 통해 학습시켰습니다. 나머지 로봇은 동결(frozen)된 상태로 유지되어, 원래의 지식을 온전히 보존했습니다.

발견한 점: 적은 것이 더 낫다

결과는 놀라울 정도로 효과적이었습니다. 연구진은 세 가지 다른 크기의 "심"(랭크: 8, 16, 32)을 테스트했으며, 이를 훈련되지 않은 로봇(zero-shot) 및 완전히 다시 학습시킨 로봇과 비교했습니다.

다음은 그들이 발견한 내용입니다:

1. 작은 업그레이드의 승리: 가장 작은 심(랭크 8)이 우승했습니다. 이 모델은 훈련되지 않은 로봇에 비해 오류율을 39.7% 감소시켰습니다. 이는 로봇이 "Am south"라고 추측하는 대신 "North Ammon Road"와 같은 단어를 정확하게 식별했음을 의미합니다.
2. 크다고 좋은 것이 아니다: 랭크 16과 32와 같이 더 큰 심을 사용했을 때, 성능은 오히려 약간 저하되었습니다. 로봇이 소음에 의해 혼란을 느끼기 시작했고, 본질적으로 혼돈에 "과적합(overfitting)"된 것입니다. 이는 마치 도로의 일반적인 패턴을 배우는 대신, 도로 위의 모든 갈라진 틈 하나하나를 다 외우려고 하는 것과 같습니다. 연구진은 이러한 노이즈가 많은 환경에서는 더 작고 집중된 조정이 최적이라는 점을 시사합니다.
3. 효율성: 우승한 모델은 단 294,912개의 파라미터만을 업데이트했습니다. 전체 재학습에 필요한 99,148,800개의 파라미터와 비교해 보세요. 그들은 모델 뇌의 0.3% 미만을 변경하면서도 엄청난 개선을 이루어냈습니다. 이는 비용과 컴퓨터 자원을 절약하는 데 있어 큰 승리입니다.

한계와 미래

연구진은 이것이 모든 것을 해결하는 마법 지팡이가 아니라는 점을 분명히 했습니다. 그들은 복잡한 자동차 사고와 같이 가장 혼란스러운 장면에서는 오류율이 크게 높아지는 등 로봇이 여전히 어려움을 겪는다는 것을 발견했습니다. 이 모델은 교통 단속과 같은 일상적인 상호작용에서 가장 잘 작동합니다.

또한 그들은 이 방법이 큰 진전임에도 불구하고, 왜 더 큰 심들이 실패했는지 아직 완전히 이해하지 못하고 있다는 점을 지적했습니다. 바디캠 영상의 노이즈가 너무 무질서해서, 큰 규모의 복잡한 조정을 가했을 때 혼란을 일으키지 않고 처리하기에는 너무 복잡할 수도 있습니다.

이것이 왜 중요한가

이 연구는 어려운 문제를 해결하기 위해 바퀴를 새로 발명할 필요가 없다는 것을 보여줍니다. 스마트하고 효율적인 미세 조정(LoRA)을 사용함으로써, 우리는 강력하고 범용적인 도구를 가져와 매우 구체적이고 시끄러운 작업을 수행하는 전문가로 만들 수 있습니다. 법 집행 기관의 입장에서, 이는 저장 공간에 쌓여 있는 수천 시간의 영상이 마침내 검색 가능한 텍스트로 변환될 수 있음을 의미합니다. 이는 부서가 공정성을 검토하고, 증거를 더 빨리 찾으며, 인간 청취자 군단 없이도 책임성을 확보하는 데 도움을 줄 수 있습니다.

결론적으로, 이 작업이 끝난 것은 아니지만(특히 가장 시끄러운 시나리오의 경우), 나아갈 길은 명확합니다. 작고 목표가 뚜렷한 변화가 엄청난 개선을 가져올 수 있으며, 이를 통해 단어를 듣는 로봇과 현실 세계의 혼돈을 이해하는 로봇 사이의 간극을 메울 수 있습니다.