Does the Competitive Component of Adversarial Self-Play Improve Legal Reasoning? A Controlled Negative Result

당신이 로봇에게 훌륭한 변호사가 되는 법을 가르치려 한다고 상상해 보세요. 당신은 누구도 무너뜨릴 수 없을 만큼 강력한 논거를 작성하는 로봇을 만들고 싶어 합니다. 인공지능 세계에는 "적대적 자기 대국(adversarial self-play)"이라는 인기 있는 개념이 있습니다. 이것은 체육관에서의 스파링 경기와 같습니다. 학생 로봇(the "student")이 법적 논거를 초안하고, 강력한 상대 로봇(the "adversary")이 그 논거에 구멍을 뚫으려고 시도합니다. 학생 로봇은 자신의 논거가 공격에서 살아남았을 때만 보상을 받습니다. 이 끊임 없는 싸움이 학생 로봇을 혼자 연습할 때보다 더 똑똑하고, 더 강인하며, 더 나은 추론 능력을 갖추게 한다는 것이 희망 섞인 기대입니다.

이 개념은 단지 로봇에 국한된 것이 아니라, 기계가 생각하는 방식을 가르치는 것에 관한 것입니다. 과거에 연구자들은 기계들이 서로 맞붙어 연습할 때, 퍼즐을 풀거나 코드를 작성하거나, 혹은 체스와 같은 게임을 하는 데 더 능숙해진다는 것을 발견했습니다. 법률 세계의 큰 의문은 이것입니다. 이 "싸움"이 로봇이 법에 대해 더 잘 추론하도록 실제로 돕는 것일까요, 아니면 싸움 자체가 그저 방해 요소일 뿐일까요? 만약 로봇이 단순히 법을 배우는 것이 아니라 주먹을 피하는 법만을 암기하고 있는 것이라면, 이 연습은 시간 낭비에 불과합니다. 이것이 바로 새로운 연구가 해결하고자 했던 정확한 미스터리입니다.

---

아무런 성과 없이 끝난 위대한 법률 스파링 경기

이 논문에서 연구자들은 매우 엄격하고 과학적인 실험을 통해 "싸움" 이론을 검증하기로 했습니다. 그들은 학생 로봇이 법적 논거를 쓰려고 노력하고, 상대 로봇이 그것을 파괴하려고 시도하는 훈련 시스템을 구축했습니다. 이 싸움이 공정하고 정직하게 진행되도록 하기 위해, 그들은 특별한 심판인 "인용 검증기(citation verifier)"를 추가했습니다. 이 심판는 로봇들이 언급하는 모든 법률 규칙과 판례를 확인했습니다. 만약 로봇이 가짜 법을 만들어내거나 존재하지 않는 판례를 인용하면, 심판는 즉시 실격 처리했습니다. 이는 학생 로봇이 속임수로 이길 수 없음을 의미했습니다. 반드시 실제적이고 검증된 사실로 승리해야만 했습니다.

과학자는 매우 구체적인 질문을 던졌습니다: 만약 우리가 싸움 부분, 즉 상대방과 "생존" 보상을 제거한다면, 학생 로봇은 더 나빠질까요? 다시 말해, 경쟁이 비법 소스인가요, 아니면 그저 불필요한 소음인가요? 이를 알아내기 위해, 그들은 "싸움" 팀과 동일한 방식으로 학습했지만 상대방 없이 학습한 "비싸움" 팀을 비교하는 네 가지 다른 유형의 테스트를 실행했습니다.

결과: 크고 정직한 "아니오"

결과는 놀랍고도 매우 명확한 "아니오"였습니다. 훈련 과정에서의 경쟁적인 부분은 실제로 학생 로봇을 법적 추론에 있어 더 낫게 만들지 못했습니다.

이야기는 다음과 같이 전개되었습니다:

• 잘못된 시작: 처음에 연구자는 싸움 팀의 거대한 승리를 목격했다고 생각했습니다. 18개의 테스트 케이스라는 작은 그룹에서, 싸움 로봇은 자신의 논거를 유지하는 데 있어 29% 더 뛰어난 것처럼 보였습니다. 그것은 엄청난 승리처럼 보였습니다!
• 반전: 하지만 테스트를 29개의 케이스로 확장하자, 그 이점은 사라졌습니다. 사실, 싸움 로봇은 비싸움 로봇보다 약간 더 못한 성적을 냈습니다. 초기 29%의 상승은 순전히 운에 의해 동전을 몇 번 던졌더니 계속 앞면이 나온 것과 같은, 작은 표본 크기로 인한 결과였습니다.
• 블라인드 테스트: 확실히 하기 위해, 그들은 "블라인드 맛 테스트"를 실시했습니다. 그들은 두 로봇의 논거를 가져와 이름을 숨긴 뒤, 제3의 독립적인 로봇에게 승자를 고르게 했습니다. 결과는 어땠을까요? 싸움 로봇은 49%의 승률을 기록했고, 비싸움 로봇은 51%를 기록했습니다. 그것은 사실상 완벽한 무승부였습니다.
• "더 강력한 상대" 테스트: 과학자들은 "혹시 상대 로봇이 충분히 강력하지 않았던 것 아닐까?"라고 걱정했습니다. 그래서 그들은 매 라운드마다 더 똑똑해지는 초강력 상대 로봇을 만들었습니다. 다시 테스트를 진행했습니다. 결과는 또 다른 완벽한 무승부였습니다: 양측 모두 50%의 승률을 보였습니다.

왜 "싸움"은 실패했는가?

이 논문은 연구자를 거의 속일 뻔했던 두 가지 교묘한 함정을 밝혀냈는데, 이는 이 이야기의 매우 중요한 부분입니다.

1. 신기루: 첫 번째 함정은 작은 숫자를 믿는 것이었습니다. 초기 29%의 우위는 실제처럼 보였지만, 더 많은 데이터를 살펴보자마자 사라진 신기루였습니다. 이는 과학에서 아주 작은 표본에 근거한 헤드라인을 믿어서는 안 된다는 교훈을 줍니다.
2. 고장 난 점수판: 두 번째 함정은 성공을 측정하는 방식의 결함이었습니다. 그들의 "생존" 점수는 학생과 상대가 얼마나 많은 법적 인용구를 공유하는지에 기반했습니다. 하지만 훌륭한 상대라면 단순히 같은 법을 반복하는 것이 아니라, 학생을 공격하기 위해 다른 법을 찾아내야 합니다. 상대 로봇이 자신의 역할을 너무 잘 수행했기 때문에, 점수판이 고장 났습니다. 그것은 "생존"을 측정하는 것이 아니라 학생이 얼마나 많은 사실을 기억하는지를 측정하기 시작했습니다. 연구자는 진짜 답을 얻기 위해 블라인드 맛 테스트로 전환해야 했습니다.

핵 요약

이 논문은 보기 드문 가치 있는 "부정적 결과(negative result)"를 담고 있습니다. "우리의 놀라운 새로운 방법을 보라!"고 말하는 대신, 저자는 "우리는 이 멋진 아이디어를 시도해 보았고, 그것이 작동하지 않았다"라고 말하고 있습니다. 그들은 경쟁 그 자체에서 가치가 온 것이 아니라, 답이 진실인지 확인할 수 있는 시스템을 구축했다는 점에서 가치가 있었다는 것을 발견했습니다.

연구는 법적 추론을 위해서 단순히 로봇이 다른 로봇과 싸우게 하는 것은 로봇을 더 똑똑하게 만들지 않는다는 결론을 내립니다. 진짜 마법은 싸움에 있었던 것이 아니라, 사실을 확인할 수 있는 환경에 있었습니다. 저자는 이 정직한 실패와 자신이 빠졌던 함정들을 공유함으로써, 다른 과학자들이 존재하지 않는 문제를 해결하려고 시간을 낭비하지 않고, 대신 진실을 검증하는 더 나은 방법을 구축하는 데 집중하기를 바랍니다.