당신이 거대한 인재 발굴 오디션(talent show)을 운영하고 있다고 상상해 보세요. 하지만 단 한 명의 심사위원이 아니라, 수천 명의 심사위원단이 있습니다. 머신러닝의 세계에서 이 "심사위원들"은 종종 AI가 얼마나 똑똑한지 확인하기 위해 사용되는 서로 다른 과제나 테스트를 의미합니다. 문제는, 만약 누군가 똑같이 생긴 쌍둥이 심사위원 백 명을 몰래 끼워 넣는다면 어떻게 될까요? 혹은, 99%가 동일하게 보이고 행동하는 심사위원 천 명을 데려온다면 어떨까요? 만약 당신이 모든 심사위원의 표를 똑같은 비중으로 계산한다면, 쌍둥이들이 독특한 목소리들을 압도하여 최종 점수를 왜곡할 것이고, 승리자를 실제보다 더 뛰어나거나 혹은 더 못나 보이게 만들 것입니다. 이것이 바로 "중복 편향(redundancy bias)"의 문제입니다. 인공지능 및 사회 선택 이론(social choice theory) 분야의 과학자들은 이 심사위원들이 모두 고유하지 않을 때, 어떻게 그들에게 공정하게 가중치를 부여할 것인가에 대해 오랫동안 고민해 왔습니다. 그들은 만약 어떤 항목들이 매우 유사한 집단이라면, 그것들이 완전히 다른 항목들과 동일한 총체적 힘을 가져서는 안 된다는 것을 알고 있습니다. 즉, 그들은 스포트라이트를 나누어 가져야 합니다.

다미엔 베리아드(Damien Berriaud)와 로저 와텐호퍼(Roger Wattenhofer)가 작성한 이 논문은 거리(distance)가 곧 "유사성(similarity)"을 의미하는 수학적 공간 내에서 이러한 항목들에 어떻게 공정한 "가중치(weights)"를 할당할 것인가라는 문제를 다룹니다. 이것은 마치 어떤 태스크의 복제본을 벤치마크에 추가하더라도 시스템이 혼란에 빠지거나 불공정하게 편향되지 않도록 하는 방법과 같습니다. 저자들은 어떤 좋은 가중치 시스템이 따라야 할 새로운 규칙, 즉 "공리(axioms)"를 제안합니다. 그들은 모든 지점이 자신의 이웃에게 투표하는 "지역 투표(local voting)"라는 방법을 제안하며, 여기서 최종 가중치는 각 항목이 얼마나 많은 "투표권(voting power)"을 축적하는지에 대한 계산입니다. 그들은 이 방법이 표준적인 기하학적 공간(우리가 사는 3D 공간과 같은)에서 수학적으로 작동함을 증명하며, 정확한 계산은 불가능할 정도로 느릴지라도 무작위 샘플링을 사용하여 이 가중치들을 계산하는 방법을 제공합니다.

빨간 알약, 파란 알로, 그리고 인디고 알약

먼저 당신이 알 법한 영화 속 장면으로 시작해 봅시다. 네오는 선택을 제안받습니다. 평범한 삶으로 깨어나게 해줄 파란 알약, 혹은 진실을 보게 해줄 빨간 알약입니다. 그런데 만약 세 번째 옵션이 있다면 어떨까요? 주머니에 100달러가 들어있는 채로 똑같은 마법 같은 세상에서 깨어나게 해주는 인디고 알약 말입니다. 그다음 모피어스가 네이비 알약, 보르도 알 색깔의 알약, 시안 알약, 그리고 그린 알약을 제안합니다. 왜 그는 그렇게 많은 파란색의 변주를 제안하는 걸까요? 만약 당신이 단순히 알약의 개수만 센다면, "빨간색" 카테고리와 비교했을 때 "파란색" 카테고리가 갑자기 훨씬 더 중요해 보이기 때문입니다.

이것이 바로 저자들이 해결하고자 하는 문제입니다. AI 벤치마크(컴퓨터 프로그램의 성적표와 같은 것)의 세계에서, 연구자들은 종종 다양한 태스크의 점수를 결합합니다. 만약 벤치마크에 "CoLA"라는 태스크가 포함되어 있고, 그 후 약간씩 다른 열 개의 "CoLA" 버전을 추가한다면, 단순 평균을 낼 경우 그 열 개의 버전이 점수의 90%를 차지하게 됩니다. 이는 불공평합니다. 이는 마치 투표 시스템이 사람이 옷을 갈아입을 때마다 새로운 투표로 계산하는 것과 같습니다. 저자들은 "이 열 개의 버전은 기본적으로 같은 사람이다. 그러니 그들이 선거를 독점하지 않도록 무게를 나누어 갖게 하자"라고 말하는 시스템을 구축하고자 합니다.

게임의 규칙

이를 해결하기 위해, 저자들은 "공리(axioms)"라고 부르는 엄격한 규칙이 있는 놀이터를 설정했습니다. 이것을 그들의 새로운 가중치 시스템을 위한 물리 법칙이라고 생각하면 됩니다.

1. 양의 성질(Positivity): 모두에게 기회가 주어집니다. 어떤 태스크도 결코 0의 가중치를 받지 않습니다. 심지어 이상하고 외로운 태스크들도 아주 작은 관심을 받습니다.
2. 대칭성(Symmetry): 만약 두 태스크가 게임의 규칙에 의해 구별할 수 없을 정도로 완벽한 거울 쌍이라면, 그들은 반드시 정확히 같은 가중치를 가져야 합니다.
3. 복제 공정성(Clone Fairness): 이것이 가장 중요한 핵심입니다. 만약 거의 동일한 두 태스크가 있다면(인디고와 네이비 알약처럼), 그들은 거의 같은 가중치를 가져야 합니다. 원본으로부터 모든 힘을 훔치기 위해 "유사 복제본"을 추가함으로써 시스템을 속일 수는 없습니다.
4. 연속성(Continuity): 만약 태스크를 아주 조금만 움직인다면(예를 들어 테스트 질문을 약간 수정한다면), 그 가중치가 급격하게 튀어서는 안 됩니다. 시스템은 매끄러워야 하며, 요동쳐서는 안 됩니다.
5. 지역적 안정성(Local Stability): 만약 그룹에 새로운 복제본을 추가한다면, 그것은 오직 바로 옆에 있는 것들의 가중치에만 영향을 미쳐야 합니다. 방 반대편에 있는 태스크의 가중치까지 변화시키는 연쇄 반응을 일으켜서는 안 됩니다.

"지역 투표" 솔루션

그렇다면 이 가중치들을 실제로 어떻게 계산할까요? 저자들은 **지역 투표(Local Voting)**라는 영리한 아이디어를 제안합니다.

넓고 평평한 들판에 조약돌(당신의 태스크들)을 던진다고 상상해 보세요. 이제 모든 조약돌이 일정한 크기의 "영향력 범위", 즉 거품(bubble)을 가지고 있다고 상상해 보세요. 만약 당신이 그 거품 안 어디든 서 있다면, 당신은 그 조약돌의 "투표자"가 됩니다.

여기서 반전이 있습니다. 만약 당신이 세 개의 서로 다른 조약돌의 거품이 겹치는 지점에 서 있다면, 당신은 세 개 모두의 투표자가 됩니다. 하지만 당신은 단 하나의 표만 가질 수 있습니다. 따라서 당신은 자신의 표를 그들에게 균등하게 나눕니다. 만약 당신이 단 하나의 조약돌만 존재하는 거품 안에 있다면, 당신은 그 조약돌에게 전체 표를 줍니다.

조약돌의 최종 가중치는 그 조약돌의 이웃으로부터 수집된 "투표권"의 총량입니다. 만약 조약돌이 많은 복제본들에 둘러싸여 있다면, 그 조약돌의 거품은 북적거릴 것입니다. 그 붐비는 구역의 투표자들은 자신들의 표를 여러 유사한 조약돌들에게 나누어 주어야 하므로, 각 조약돌은 파이의 더 작은 조각을 받게 됩니다. 만약 조약돌이 독특하고 홀로 떨어져 있다면, 그 조약돌은 그 구역의 모든 표를 가져갑니다.

저자들은 이 "지역 투표" 방식이 그들의 모든 규칙을 따른다는 것을 수학적으로 증명했습니다. 이것은 복제본들을 공정하게 대우하고, 상황이 약간 변할 때 매끄럽게 작동하며, 한 그룹의 복제본들이 전체 시스템을 하이재킹하지 못하게 합니다.

수학적 문제: 어렵지만, 우리에게는 '해킹' 방법이 있다

함정이 있습니다. 이 방법을 사용하여 정확한 가중치를 계산하는 것은 믿기 힘들 정도로 어렵습니다. 세 개의 거품이 겹치는 3차원 공간의 모든 점을 세려고 노력한다고 상상해 보세요. 차원이 높아지면(AI는 종종 높은 차원을 사용합니다), 겹치는 영역의 수는 폭발적으로 증가합니다. 이는 밀물이 들어오는 동안 해변의 모든 모래알을 세려는 것과 같습니다. 저자들은 정확한 답을 찾는 것이 대규모 문제에 대해 아마도 불가능할 것이라고 인정합니다.

하지만 걱정하지 마세요! 그들은 단순히 수학 문제만 남겨두고 떠나지 않았습니다. 그들은 "몬테카를로(Monte Carlo)" 방법, 즉 "샘플링을 통한 추측"이라는 멋진 방법을 고안해 냈습니다. 모든 점을 일일이 세는 대신, 눈을 감고 거품 속의 무작위 지점 몇 군데를 선택하는 것입니다. 각 무작위 지점이 몇 개의 조약돌에 투표하는지 세고, 이 과정을 수천 번 반복합니다. 이러한 무작위 추측값들을 평균함으로써, 우리는 실제 가중치의 매우 좋은 추정치를 얻을 수 있습니다.

논문은 이 샘플링 방법이 충분히 유용할 만큼 빠르다는 것을 보여줍니다. 그들은 심지어 특정 수준의 정확도를 얻기 위해 얼마나 많은 샘플이 필요한지도 정확히 적어 놓았습니다. 예를 들어, 당신이 특정 오차 범위 내에서 99%의 확신을 갖고 싶다면, 시뮬레이션을 특정 횟수만큼 실행하기만 하면 됩니다.

이것이 미래에 의미하는 바

저자들은 자신들의 방법이 우주의 모든 문제를 해결했다고 주장하는 실수를 범하지 않습니다. 그들은 자신들의 방법이 "유클리드 공간(직선이 곧고 원이 둥근, 우리가 학교에서 배우는 종류의 기하학)"에 대해서는 완벽하게 작동한다고 명시했습니다. 만약 거리 측정 방식(기하학적 규칙)을 바꾼다면, 그들의 특정 "지역 투표" 기술이 대칭성을 깨뜨릴 수 있다고 지적합니다. 그들은 이러한 특이하고 비표준적인 공간의 경우, 공간의 형태에 의존하지 않는 완전히 새로운 아이디어가 필요할 수 있다고 제안합니다.

또한 그들은 자신들의 방법이 이론적으로는 타당하지만, "정확한" 계산은 실제 사용하기에 너무 느리다는 점을 인정하며, 이것이 왜 그들의 샘플링 해킹 방법이 중요한지를 설명합니다. 그들은 아직 상업적인 제품을 만든 것은 아니지만, 이를 수행하기 위한 수학적 청사진과 작동하는 프로토타입을 제공했습니다.

요약하자면, 이 논문은 우리의 AI 테스트를 측정하는 새롭고 공정한 방법을 제시합니다. 이는 "복제 군단"이 점수판을 장악하는 것을 막아주며, 모든 독특한 아이디어가 정당한 대우를 받도록 보장하는 동시에, 유사한 아이디어들은 그 무게를 나누어 갖도록 합니다. 이것은 우리가 AI가 "똑똑하다"고 말할 때, 그것이 정말로 똑똑한 것인지, 아니면 단지 똑같은 질문에 천 번 대답하는 데 능숙한 것인지를 확실히 하기 위한 단계입니다.