Searching for Sound-Meaning Collisions: Graph-Based Affordance Retrieval and Multi-Evaluator Ranking for Pun Translation at CLEF 2026 JOKER Task 2

당신이 어떤 농담을 한 언어에서 다른 언어로 번역하려고 한다고 상상해 보십시오. 하지만 그 농담은 하나의 단어가 동시에 두 가지 다른 의미를 갖는 소리에 의존하고 있습니다. 영어로 예를 들면, "I'm on a seafood diet; I see food and I eat it(나는 씨푸드 다이어트 중이야; 음식을 보고(see) 먹으니까)"라고 말할 수 있습니다. 유머는 "sea(바다)"와 "see(보다)"의 발음이 일치하는 데서 옵ay옵니다. 만약 이 단어를 프랑스어로 직역하려 한다면, 프랑스어에서 '바다'와 '보다'는 발음이 비슷하지 않기 때문에 농담은 즉시 죽어버립니다. 이것이 바로 언어유희 번역의 "불가능한" 문제입니다: 유머는 소리와 의미 사이의 우연한 충돌에서 발생하는데, 그 사고(accident)는 새로운 언어로 이동하는 과정에서 살아남는 경우가 거의 없기 때문입니다.

수십 년 동안 번역가들은 비결이 원래의 단어를 유지하는 것이 아니라, 대상 언어에서 소리와 의미가 유사하게 충돌하는 새로운 단어를 찾는 것이라는 사실을 알고 있었습니다. 이것은 마치 두 섬 사이에 다리를 놓는 것과 같습니다. 만약 원래의 다리가 파괴되었다면, 당신은 물이 충분히 얕아서 새로운 다리를 건설할 수 있는 새로운 지점을 찾아야 합니다. 이 논문은 우리가 어떻게 컴퓨터에게 정확히 그 일을 하도록 가르칠 수 있는지 탐구합니다. 즉, 똑같은 단어를 찾는 것을 멈추고, 소리와 의미가 서로 부딪히는 새로운 장소를 찾기 시작하도록 하는 것입니다.

---

컴퓨터의 언어유희 보물찾기

이 논문에서 조지아 공과대학교(Georgia Institute of Technology)의 연구진은 농담을 번역하는 것을 단순한 단어 교체가 아니라, **발견(Discovery), 탐색(Exploration), 선택(Selection)**이라는 세 단계의 모험으로 취급합니다. 그들은 컴퓨터가 대상 언어에서 소리와 의미가 재미있게 충돌하는 "어포던스(affordance)"—'기회' 또는 '다리'를 뜻하는 멋진 단어—를 찾아내도록 설계된 시스템을 구축했습니다.

1단계: 발견 (다리 찾기)
연구팀은 농담을 찾으려면 단순히 단어 하나만 봐서는 안 되며, 구절과 소리 패턴도 함께 봐야 한다는 점을 깨달았습니다. 그들은 방대한 프랑스어 표현 디지털 라이브러리와 프랑스어 단어들이 어떻게 소리 나는지에 대한 특별한 지도(음성 코드를 사용함)를 구축했습니다.

• 의미 지도(The Semantic Map): 그들은 의미를 공유하는 단어 그룹(예: '음식'에 관한 단어들의 동네)을 찾았습니다.
• 소리 지도(The Sound Map): 그들은 단순히 똑같은 쌍둥이뿐만 아니라, 운율이 맞거나 비슷한 리듬을 공유하는 사촌 관계의 단어들까지 연결하는 그래프를 구축했습니다.

그 후 컴퓨터는 원래 농담의 두 측면을 연결하는 "다리"를 찾으려고 시도합니다. 예를 들어, 농담이 "돈(money)"과 "시간(time)"을 연결한다면, 컴퓨터는 프랑스어에서 '돈'을 뜻하는 단어와 발음이 비슷하면서 '시간'을 뜻하는 단어(또는 그 반대)를 검색합니다. 그들은 이러한 잠재적인 다리를 "어포던스"라고 부릅니다.

2단계: 탐색 (후보 생성)
컴퓨터가 이러한 다리를 찾으면 단순히 하나를 고르는 데 그치지 않습니다. 컴퓨터는 그 아이디어를 여러 개의 서로 다른 AI "작가(Large Language Models)"들에게 보냅니다. 이 작가들에게는 다음과 같은 지시가 내려집니다: "여기 네가 찾은 다리가 있다; 이제 이것을 사용하여 농담을 써라."
단 하나의 농담만 쓰는 대신, 시스템은 그들에게 12가지 다른 버전을 쓰라고 요청합니다. 어떤 것은 우스꽝스러울 수도 있고, 어떤 것은 기발할 수도 있으며, 어떤 것은 완벽할 수도 있습니다. 이는 과정을 "하나의 정답을 추측하는 것"에서 "전체 메뉴를 생성하는 것"으로 바꿉니다.

3단계: 선택 (심사위원단)
이제 가장 어려운 부분인 승자를 뽑을 차 차례입니다. 시스템은 인간 전문가 패널처럼 네 명의 서로 다른 AI "페르소나"를 심사위원단으로 사용합니다:

• 코미디언(The Comedian): 어떤 것이 가장 재미있는가?
• 언어학자(The Linguist): 어떤 것이 최고의 언어유희를 가졌는가?
• 편집자(The Editor): 어떤 것이 자연스럽고 유창한가?
• 번역가(The Translator): 어떤 것이 원래 농담의 의미를 유지하는가?

이 심사위원들은 단순히 점수를 주는 것이 아니라 순위를 매깁니다. 시스템은 각 원래의 농담에 대해 단 하나의 최적의 농담을 뽑기 위해 이들의 순위를 결합합니다.

무엇을 발견했는가 (그리고 무엇을 발견하지 못했는가)

이 실험의 결과는 매우 흥 revealing(드러내는 바가 많았으며), 컴퓨터의 과정이 인간 번역가가 생각하는 방식과 매우 유사함을 시사했습니다.

1. 찾기가 가장 어려운 부분이다
전체 과정에서 가장 큰 병목 현상은 "발견" 단계였습니다. 고급 지도들을 활용했음에도 불구하고, 시스템은 약 **50.8%**의 농담에서만 사용 가능한 다리를 찾아냈습니다. 나머지 절반의 경우, 컴퓨터는 프랑스어에서 작동하는 소리-의미의 충돌을 단순히 찾을 수 없었습니다. 이는 많은 농담의 경우, "다리"가 대상 언어에 존재하지 않을 수 있으며, 그 농담은 포기되어야 함을 시사합니다.

2. 생성기들은 다리를 사랑한다
시스템이 다리를 찾았을 때, AI 작가들은 그 다리를 사용했습니다. 그들은 힌트를 무시하지 않았습니다; 그들은 시스템이 찾은 소리-의미 충돌을 바탕으로 적극적으로 농담을 만들어냈습니다. 더 많은 다리를 찾을수록 농담의 질도 좋아지는 경향이 있었습니다.

3. 정확한 소리 일치가 크게 승리한다
여기 놀라운 반전이 있습니다: 시스템은 수천 개의 "거의 일치하는(near-miss)" 소리 다리(거의 비슷하게 들리는 단어들)를 찾았지만, 최종 승자들은 불균형할 정도로 "정확한" 일치였습니다. 정확한 소리 충돌은 드물었지만(찾은 다리의 약 **10.8%**에 불과함), 최종 우승 농담의 거의 **27.5%**를 차지했습니다. 완벽한 소리 유사체가 존재할 때, 그것은 그냥 지나치기에는 너무나 훌륭한 요소인 듯합니다.

4. "번역가" 심사위원이 핵심이다
팀이 심사위원들의 의견을 결합하는 다양한 방법을 테스트했을 때, "번역가"(원래의 의미를 유지하는 데 중점을 두는 역할)를 우선시하는 것이 공용 리더보드에서 가장 잘 작동한다는 것을 발견했습니다. 그러나 저자들은 여기에 긴장 관계가 있다고 언급합니다: 리더보드는 재미를 추구하기보다 의미를 유지하는 것에 더 높은 점수를 주는 것처럼 보입니다. "코미디언" 심사위원은 종종 "번요가"와 다른 농담을 선택했는데, 이는 인간에게 재미있는 것이 컴퓨터의 스코어링 시스템이 현재 가치 있게 여기는 것과 다를 수 있음을 시사합니다.

5. 그것은 마법이 아니라 탐색이다
가장 중요한 교훈은 성공적인 농담 번역은 원래의 단어를 보존하는 것이 아니라는 점입니다. 그것은 발견입니다. 컴퓨터는 대상 언어의 광활한 바다를 탐색하여, 소리와 의미가 서로 충돌하는 숨겨진 지점을 찾아내고, 그곳에 새로운 농담을 구축해야 합니다.

저자들은 자신들의 시스템이 오래전 언어학자 Low가 제안했던 과정을 성공적으로 모방하고 있다고 결론짓습니다. 즉, 번역가는 동등한 단어를 찾는 것이 아니라, 새로운 접점을 찾아야 한다는 것입니다. 시스템은 여전히 절반의 농담에서 어려움을 겪고 있지만(다리를 찾는 것이 어렵기 때문), 농담 번역으로 가는 길은 직선이 아니라—소리와 의미 사이의 숨겨진 충돌을 찾는 보물찾기라는 것을 입증했습니다.