Communicating Chess Strategies in Natural Language

당신은 방금 한 그랜드마스터 체스 엔진이 컴퓨터 상대를 눈부시게 빠르고 압도적으로 격파하는 경기를 보았습니다. 엔진은 마법 같은 수를 두지만, 만약 당신이 "왜 그렇게 두었나요?"라고 묻는다면, 그것은 그저 숫자의 벽과 거대하고 뒤엉킨 "만약 ~라면"의 가능성들로 이루어진 나무를 내뱉을 뿐입니다. 그것은 마치 로봇만이 읽을 수 있는 비밀 코드로 쓰인 지도를 건네받은 것과 같습니다. 목적지가 훌륭하다는 것은 알지만, 그곳에 어떻게 도달해야 하는지는 전혀 알 수 없는 상태 말이죠.

그것이 바로 싱가포르 국립대학교의 연구진이 해결하고자 하는 문제입니다. 그들은 질문을 던졌습니다: 우리는 이 로봇의 체스 전략을 인간(또는 똑똑한 컴퓨터)이 실제로 이해하고 사용할 수 있는 평이한 영어로 번역할 수 있을까?

미션: "로봇의 수학"을 "인간의 대화"로 바꾸기

체스 엔진의 두뇌를 거대하게 갈라지는 강줄기라고 생각해 보십시오. 매 턴마다 물줄기는 수십 개의 경로로 나뉩니다. 엔진은 어떤 경로가 승리로 이어지는지 정확히 알고 있지만, 모든 가지에 있는 모든 물방울 하나하나를 설명하는 것은 인간이 읽기에 불가능합니다. 정보가 너무 많습니다.

연구팀의 목표는 이 거대한 강줄기 지도를 보고 짧고 강렬한 이야기를 쓰는 "번역기"를 만드는 것이었습니다: "먼저, 여기로 폰을 밀어 넣으세요. 만약 상대가 당신의 왼쪽을 공격한다면, 저기로 나이트를 미끄러지듯 이동시키세요. 만약 그들이 오른쪽으로 간다면, 비숍으로 막으세요."

그들은 이를 **체스 전략 언어화(Chess Strategy Verbalization)**라고 부릅니다. 이것은 단순히 수가 왜 좋았는지 사후에 설명하는 것(스포츠 해설가가 "와, 정말 멋진 샷이었습니다!"라고 말하는 것처럼)이 아닙니다. 그것은 플레이어가 수를 두기 전에 프로처럼 플레이할 수 있도록 일련의 지침을 제공하는 것입니다.

실험: 누가 이 지침을 따를 수 있는가?

이를 테스트하기 위해, 연구진은 단순히 사람들이 설명을 읽고 고개를 끄덕이게 하는 데 그치지 않았습니다. 그들은 이 설명을 "따라 하기"라는 고위험 게임에 투입했습니다.

그들은 디지털 체스 퍼즐을 설정했습니다. 그런 다음 두 유형의 플레이어에게 지침을 주었습니다:

1. 인간 학생들: 초보자부터 상급자까지 다양한 체스 실력을 가진 30명의 대학생.
2. AI 플레이어들: 지금 이 설명을 쓰고 있는 것과 같은 종류의 똑똑한 컴퓨터인 대규모 언어 모델(LLM).

연구진은 지침을 테스트하기 위해 영리한 트릭을 사용했습니다. 단순히 한 판의 게임을 하는 대신, "최악의 시나리오"를 시뮬레이션했습니다. 마치 요리 레시피를 따르고 있는데, 셰프가 계속해서 예상치 못한 재료를 집어넣는 상황을 상상해 보십시오. 연구진은 "상대방"이 가장 일어날 법한 움직임뿐만 아니라 가능한 모든 돌발적인 움직임을 시도하도록 만들었습니다. 그들은 지침이 유효한지, 아니면 상대방이 예상치 못한 행동을 했을 때 플레이어가 길을 잃게 되는지를 확인하고 싶었습니다.

연구 결과 (좋은 점, 나쁜 점, 그리고 "아마도")

1. 영어는 효과가 있다 (하지만 완벽하지는 않다)
중요한 소식은 자연어가 효과가 있다는 것입니다. 플레이어들(인간과 AI 모두)이 이러한 영어 설명을 받았을 때, 지침이 전혀 없을 때보다 훨씬 더 잘 플레이했습니다. 그것은 마치 관광객에게 복잡한 GPS 로그 대신 단순하고 명확한 지도를 주는 것과 같습니다. 그들은 실제로 길을 찾을 수 있습니다.

하지만 논문은 **영어가 다소 "손실이 발생한다(lossy)"**는 점을 시사합니다. 만약 플레이어에게 모든 수를 나열한 가공되지 않은 컴퓨터 데이터(JSON 파일)를 준다면, 그들은 거의 완벽하게 플레이합니다. 하지만 그것을 영어로 번역하면, 아주 미세한 디테일들이 누락됩니다. 그것은 10시간짜리 영화를 2분짜리 예고편으로 요약하는 것과 같습니다. 주요 줄거리는 얻을 수 있지만, 결정적인 서브 플롯은 놓칠 수 있습니다. 플레이어들은 아무것도 없을 때보다는 영어를 통해 더 잘 수행했지만, 가공되지 않은 데이터의 완벽함에는 미치지 못했습니다.

2. "개념"의 함정
연구진은 지름길을 시도했습니다. 전체 전략을 주는 대신, 플레이어들에게 "포크(fork)", "핀(pin)", "킹 안전(king safety)"과 같은 높은 수준의 체스 전문 용어 목록을 제공했습니다. 그들은 플레이어들이 이러한 개념을 바탕으로 수를 알아서 파악하기를 바랐습니다.
이것은 잘 작동하지 않았습니다. 논문은 단순히 전술의 이름을 아는 것만으로는 충분하지 않다고 주장합니다. 그것은 마치 요리사에게 구체적인 레시피를 주지 않고 "맛있는 것을 만들어라"라고 말하는 것과 같습니다. 플레이어들은 혼란을 느꼈습니다. 논문은 추상적인 아이디어(왜)가 아니라 구체적인 단계(무엇을 할 것인가)가 필요하다고 명시적으로 제안합니다.

3. "자기 수정"의 도박
그들은 AI가 설명을 작성하게 한 뒤, 두 번째 AI가 "이 부분은 혼란스러우니 수정하세요!"라고 말하는 "비평가" 역할을 하도록 했습니다.
결과는 엇갈렸습니다. 만약 AI가 이미 체스를 잘 알고 있었다면, 비평가는 지침을 더 명확하게 만드는 데 도움이 되었습니다. 하지만 만약 AI가 약했다면, 비평가는 명확성을 더하는 대신 오히려 혼란을 더해 지침을 더 나쁘게 만들었습니다. 그것은 마치 초보자에게 거장의 그림을 편집해 달라고 요청하는 것과 같습니다. 때로는 그들이 걸작을 망쳐놓기도 합니다.

4. 인간 vs 로봇: 불일치?
여기 재미있는 반전이 있습니다. 논문은 인간과 AI 로봇이 선호하는 지침의 종류가 다르다는 것을 발견했습니다.

• 인간은 다른 인간이 쓴 설명(오래된 체스 책에서 가져온 것)을 받았을 때 더 잘했습니다. 그들은 간결하고 "큰 그림"을 보여주는 조언을 좋아했습니다.
• AI 로봇은 다른 AI 로보트가 쓴 설명에 더 잘 반응했습니다. 로봇들은 상세하고 단계적이며 약간 기계적인 스타일의 AI 생성 텍스트를 선호하는 듯 보였습니다.
  논문은 무엇이 인간에게 "명확하게" 들리는지가 컴퓨터에게는 "로봇처럼" 들릴 수 있고, 그 반대도 마찬가지라는 점을 시사합니다. 우리는 아직 모두에게 완벽한 지침을 만드는 문제를 해결하지 못했습니다.

결론

이 논문은 체스 커뮤니케이션을 "해결했다"고 주장하는 것이 아닙니다. 대신, 자연어가 체스 전략을 가르치는 데 있어 유망하고 사용 가능한 도구라는 점을 시사합니다. 그것은 초지능 엔진과 인간의 뇌 사이를 잇는 다리입니다.

하지만 한계는 존재합니다. 그 다리는 건너갈 수 있을 만큼 튼튼하지만, 가공되지 않은 데이터만큼 직접적이지는 않습니다. 그리고 현재 그 다리는 당신이 인간으로서 건너느냐 혹은 로봇으로서 건너느냐에 따라 조금씩 다르게 보입니다. 연구진은 미래의 연구가 어떻게 하면 기계뿐만 아니라 모두에게 자연스럽게 느껴지는 다리를 구축할 수 있을지 알아내야 한다고 제안합니다.

요약하자면, 우리는 드디어 체스 엔진과 대화할 수 있게 되었지만, 의미를 잃지 않으면서 그들의 언어를 말하는 법을 여전히 배워가는 중입니다.