One Prompt, Many Sounds: Modeling Listener Variability in LLM-Based Equalization

만약 당신이 저녁 파티에 있다고 상상해 보세요. 친구에게 "이 음악이 좀 탁하게 들리는데, 더 선명하게 해줄 수 있겠어?"라고 말합니다. 예전에는 '베이스', '트레블', '미드레인지'라고 적힌 복잡한 스테레오 시스템의 노브를 돌려가며 올바른 설정을 추측해야 했을 것입니다. 이는 망치로 누수된 수도꼭지를 고치려는 것과 같았습니다: 어색하고, 느리며, 종종 좌절감을 안겨주었죠.

이 논문은 채팅봇을 구동하는 동일한 유형의 인공지능인 **대규모 언어 모델 (LLM)**을 사용하여 소리를 더 똑똑하게 수정하는 방법을 소개합니다. 노브를 돌리라고 요청하는 대신, 시스템과 대화하면 됩니다. "보컬이 더 돋보이게 해줘" 또는 "더 따뜻하게 느껴지게 해줘"라고 말하면, AI 는 그 단어를 완벽한 사운드 설정으로 변환합니다.

다음은 일상적인 비유로 풀어낸 핵심 아이디어입니다:

1. 문제: "한 단어, 여러 가지 의미"

저자들은 '따뜻한', '밝은', '선명한'과 같은 단어들이 까다롭다는 것을 깨달았습니다.

• 옛 방식: 기계에게 "더 선명하게 해줘"라고 요청하면, 기계는 모든 사람에게 적합하다고 생각한 단 하나의 완벽한 설정(예: 특정 노브 위치) 을 찾으려 했을 것입니다.
• 현실: 사람들은 다릅니다. 당신에게 '선명하게' 들리는 소리가 이웃에게는 '가늘게' 들릴 수 있습니다. 한 사람에게 '따뜻하게' 들리는 소리가 다른 사람에게는 '막힌 듯' 들릴 수 있습니다.
• 논문의 통찰: 저자들은 단일 설정이 잘못된 목표라고 주장합니다. 대신, AI 는 "더 선명하게 해줘"와 같은 요청이 실제로 가능성의 구름을 열어준다는 것을 이해해야 합니다. 이는 지도 위의 단일 점이 아니라, 서로 다른 사람들이 만족할 수 있는 설정들의 전체 동네와 같습니다.

2. 해결책: "인공 이퀄라이저"

이 팀은 대화형 사운드 엔지니어처럼 작동하는 시스템을 구축했습니다.

• 작동 원리: 그들은 AI(구체적으로 Phi-3.5 라는 모델) 에게 "드럼이 더 강하게 울리게 해줘"와 같은 문구에 맞춰 음악을 듣고 소리를 조절하는 사람들의 예시를 보여줌으로써 가르쳤습니다.
• 마법: AI 가 하나의 답을 추측하는 대신, 분포를 예측하도록 학습합니다. "베이스를 더 추가해줘"라고 11 명의 친구들에게 소리를 조절해 달라고 요청한다고 상상해 보세요. 그들은 모두 노브를 약간 다른 위치로 돌릴 것입니다. AI 는 그 집단 행동을 모방하도록 학습합니다. 단순히 "베이스 노브가 50% 에 있습니다"라고 말하는 것이 아니라, "11 명의 다른 사람들이 선택할 수 있는 설정 범위와 각 설정이 선택될 확률은 다음과 같습니다"라고 말합니다.

3. 실험: "사운드 취향 테스트"

AI 를 가르치기 위해 연구자들은 청취 실험을 수행했습니다:

• 팟캐스트, 록 노래, 자연의 소리 등 120 가지 다른 시나리오를 모았습니다.
• 11 명의 일반인 (오디오 전문가가 아님) 에게 이 소리들을 듣고 "기타 소리가 더 날카롭게 들리게 해줘"와 같은 텍스트 프롬프트에 맞춰 간단한 2 차원 컨트롤러 (정사각형 패드) 를 조절하도록 요청했습니다.
• 결과: 일부 프롬프트에서는 모든 사람이 동의했으나 (낮은 분산), 다른 경우에는 사람들이 극단적으로 이견을 보였습니다 (높은 분산). 이는 사운드 선호도가 주관적임을 증명했으며, AI 는 그 이견을 무시하지 않고 포착해야 함을 보여주었습니다.

4. "측정 기준": "구름" 지표

AI 가 잘하고 있는지 어떻게 알 수 있을까요? AI 의 추측과 한 사람의 추측 사이의 거리만 측정할 수는 없습니다.

• 비유: 다트판에 다트를 던진다고 상상해 보세요. 만약 11 명이 던진 다트들의 '진짜' 표적이 구름이라면, AI 가 그 구름 한가운데에 단일 다트를 정확히 쏘았을 때, 일반적인 자는 "훌륭한 작업!"이라고 말할 것입니다. 하지만 AI 가 구름을 완전히 빗나가는 단일 다트를 쏘았을 때, 자는 "가깝네!"라고 말할 수도 있습니다.
• 논문의 도구: 저자들은 칸토로비치 거리(또는 지구 이동 거리) 라는 특별한 수학 도구를 사용했습니다. 이는 AI 의 예측 구름을 인간의 선호도 구름과 일치시키기 위해 얼마나 많은 '노력'이 필요한지 측정하는 방법이라고 생각하세요. AI 의 구름이 인간의 구름과 완벽하게 겹치면 점수는 좋습니다. 하지만 AI 가 실제로 아무도 좋아하지 않는 단일 '안전한' 답을 강요하려 한다면 점수는 나쁩니다.

5. 결과: "지금 당장은 충분함"

이 논문은 AI 를 가르치는 두 가지 주요 방법을 테스트했습니다:

1. 문맥 학습 (ICL): AI 가 답변하기 직전에 몇 가지 예시를 제공하는 것 (예: 치트 시트를 보여주는 것).
2. 파인튜닝 (PEFT): 실제로 AI 의 내부 뇌를 약간 조정하여 특정 작업을 학습하게 하는 것.

판단: 두 방법 모두 잘 작동했습니다. AI 는 무작위 추측이나 구식 '프리셋' 버튼보다 인간의 선호도와 더 잘 일치하는 설정 범위를 예측하는 데 성공적으로 학습했습니다. 흥미롭게도, 작고 저렴한 AI 모델 (Phi-3.5) 이 거대하고 비싼 모델 (GPT-4o) 과 똑같이 잘 수행했습니다.

이 논문이 주장하지 않는 것

저자들이 실제로 말한 것에 충실하는 것이 중요합니다:

• 나쁜 스피커를 위한 "마법 해결책" 아님: 이 논문은 고장 난 스피커나 나쁜 방 음향을 고친다고 주장하지 않습니다. 이는 오직 당신이 말하는 내용에 기반하여 설정만 조정합니다.
• "실시간" 오디오 분석 아님: 이 연구의 AI 는 당신이 입력한 텍스트만 보았습니다. 결정을 내리기 위해 음악 자체를 듣지는 않았습니다. 저자들은 시스템을 단순하고 빠르게 유지하기 위해 의도적으로 이를 선택했지만, 나중에 오디오 분석을 추가하는 것이 좋은 아이디어일 것이라고 인정합니다.
• "최종" 인간 테스트 아님: 논문은 아직 새로운 인간들에게 AI 의 출력을 듣고 "네, 이거 정말 좋아"라고 말해달라고 요청하지는 않았다고 인정합니다. 그들은 오직 AI 가 훈련에 사용된 사람들의 선택을 모방한다는 것만 증명했습니다.

결론

이 논문은 소리를 제어하는 방식의 변화를 제안합니다. 오디오 설정을 하나의 정답이 있는 수학 문제로 취급하는 대신, 이를 인간적인 대화로 취급합니다. "따뜻함"이 사람마다 다르게 의미한다는 것을 AI 를 통해 이해함으로써, 그들은 다양한 타당한 사운드 옵션을 제공하는 시스템을 만들었습니다. 이는 오디오 제어를 더 자연스럽고 기술적인 고역이 아닌 것처럼 느끼게 합니다.