당신이 거대한 오케스트라의 지휘자라고 상상해 보십시오. 하지만 당신의 연주자들은 바이올린이나 플루트가 아니라 수천 개의 검색 결과이며, 당신의 임무는 어떤 곡을 첫 번째, 두 번째 순서로 연주할지 결정하는 것입니다. 이것이 바로 컴퓨터 과학의 한 분야인 '랭킹 학습(Learning to Rank)'의 세계입니다. 이 분야는 기계가 인간이 필요로 하는 정보를 찾을 수 있도록 정보를 조직하는 방법을 가르칩니다. 문제는 완벽한 플레이리스트를 위한 '점수'가 매끄럽고 따라가기 쉬운 멜로디가 아니라는 점입니다. 그것은 아주 작은 순서 변화만으로도 점수가 급격히 뛰거나 완전히 사라져 버릴 수 있는, 울퉁불퉁하고 거친 지형과 같습니다. 이 때문에 전통적인 수학 도구들은 기계에게 개선하는 법을 가르치는 데 어려움을 겪습니다. 여기서 '강화 학습(Reinforcement Learning, RL)'이 등장합니다. 이는 AI가 강아지에게 간식을 주며 기술을 가르치듯, 시행착오를 통해 배우는 기술입니다. AI는 다양한 순위를 시도해 보고, 그것이 얼마나 좋은지 확인하며, 조정합니다. 하지만 여기에는 함정이 있습니다. 문서들을 나열하는 방법이 수백만 가지나 되기 때문에, '시행착오'의 공간이 너무 방대하여 AI는 길을 잃고, 학습하는 데 너무 오랜 시간이 걸리며, 수학적 계산을 하려다 컴퓨터를 다운시키기도 합니다.

"노출 기반 랭킹 강화 학습(Exposure-Based Reinforcement Learning to Rank)"이라는 제목의 이 논문은 바로 그 골칫거리를 다룹니다. 암스테르담 대학교와 구글 딥마인드(Google DeepMind)의 연구진인 저자들은 기존의 방식이 마치 퍼즐 조각 하나하나의 위치를 하나씩 추측하며 맞추려는 것과 같다는 것을 발견했습니다. 그것은 느리고 불안정하며 깨지기 쉬웠습니다. 그들은 AI를 가르치는 더 똑똑한 새로운 방법을 제안합니다. 모든 가능한 리스트의 완벽한 점수를 계산하려고 애쓰는 대신, 그들은 '노출(exposure)'에 집중합니다. 노출을 '문서가 받는 주의력(attention)'이라고 생각해 보십시오. 문서가 리스트 상단에 있으면 많은 주의를 받지만, 하단에 있으면 거의 받지 못합니다. 저자들은 AI에게 최종 점수를 직접 관리하도록 가르치는 대신, 이 '주의력 분포(attention distribution)'를 관리하도록 가르치면 수학이 훨씬 매끄러워지고 현대적인 컴퓨터(특히 강력한 그래픽 칩인 GPU를 갖춘 컴퓨터)가 처리하기 훨씬 쉬워진다는 사실을 깨달았습니다.

이 논문은 그들의 새로운 방법이 게임 체인저임을 밝혀냈습니다. 그들은 복잡하고 맞춤 제작된 수학 공식에 의존했던 이전의 '골드 스탠다드(gold standard)' 방법과 테스트를 진행했습니다. 기존 방법은 믿을 수 없을 정도로 불안정했습니다. 연구진이 이를 오랫동안 실행했을 때, AI의 성능은 갑자기 폭락하며 오히려 나빠졌습니다. 마치 러너가 몇 마일을 달린 후 자신의 신발 끈에 걸려 넘어지는 것과 같았습니다. 반면, 새로운 '노출 기반' 접근 방식은 매우 견고했습니다. 이 방식은 더 빠르게 학습하고, 더 높은 성능 수준에 도달했으며, 수천 라운드를 실행해도 성능이 무너지지 않았습니다. 또한, 그들의 방법은 표준 컴퓨터 소프트웨어(자동 미분, auto-differentiation)와 잘 호환되기 때문에 다른 프로그래머들이 사용하기 훨씬 쉽습니다. 이제 프로그래머들은 전체 수학 엔진을 다시 작성할 필요 없이, 검색 결과를 더 공정하게 만들거나 새로운 AI가 기존의 AI를 모방하도록 가르치는 것과 같은 다양한 목표를 설정할 수 있습니다. 그 결과, 더 정확하고 안정적일 뿐만 아니라 구축하고 실행하기에도 훨씬 쉬운 시스템이 탄생했습니다.

주의력 오케스트라 이야기

이것이 어떻게 작동하는지 몇 가지 비유를 사용하여 더 깊이 파헤쳐 보겠습니다.

문제점: 무한한 플레이리스트
당신에게 100곡의 노래가 담긴 플레이리스트가 있고, 가장 좋은 재생 순서를 알고 싶다고 가정해 봅시다. 가능한 순서는 하늘의 별보다 많습니다. 만약 무작위 순서로 음악을 틀어보고, 점수를 확인하고, 다시 시도하는 방식으로 학습하려 한다면 결코 끝내지 못할 것입니다. 이것이 랭킹 학습에서의 '액션 스페이스(action space)' 문제입니다. 기존의 강화 학습 방법들은 플레이리스트 전체를 한꺼번에 추측하려고 했는데, 이는 도서관의 책 한 권을 읽을 때마다 나머지 책들도 기억나기를 바라며 도서관 전체를 통째로 외우려는 것과 같습니다. 이는 비효로적이며 수학적으로도 복잡해져서, AI의 추측이 매우 들쑥날쑥해지는 '높은 분산(high variance)' 현상을 초래합니다. 즉, 어떤 때는 훌륭하지만 어떤 때는 엉망이 됩니다.

옛 방식: 취약한 맞춤형 기계
이 논문 이전에는 이를 처리하는 가장 좋은 방법으로 'PL-Rank'라는 방법이 있었습니다. PL-Rank를 그래디언트(AI가 개선을 위해 이동해야 할 방향)를 계산하기 위해 설계된 고도로 전문화된 맞춤형 기계라고 생각하십시오. 이 기계는 오래된 컴퓨터에서는 빨랐지만, 매우 특수하고 취약한 부품들로 만들어졌습니다. 저자들은 이 기계를 현대의 강력한 컴퓨터(GPU)에서 일반적인 32비트 정밀도로 실행하려고 했을 때, 기계가 흔들리기 시작한다는 것을 발견했습니다. 기계 내부의 숫자들이 너무 커지거나 너무 작아져서 컴퓨터가 이를 놓치게 되었고, 결국 AI가 잘못된 것을 배우게 만들었습니다. 이는 흔들리는 테이블 위에서 젠가 블록 탑의 균형을 잡으려는 것과 같았습니다. 결국 무너지고 말았습니다. 논문은 이 방법이 불안정하며 장기간 학습을 맡기기에 신뢰할 수 없음을 보여줍니다.

새로운 방식: 노출 지도
저자들의 새로운 접근 방식은 관점을 바꿉니다. "이 특정 플레이리스트의 점수는 얼마인가?"라고 묻는 대신, "각 노래가 얼마만큼의 주의를 받았는가?"라고 묻습니다. 이것이 '노출' 개념입니다.

• 노출: 노래가 첫 번째로 연주되면 100%의 주의를 받습니다. 마지막으로 연주되면 거의 받지 못합니다.
• 비결: 저자들은 이 '주의력 지도(attention map)'를 매우 효율적으로 추정할 수 있다는 것을 깨달았습니다. 그들은 '한계화(marginalization)'라고 불리는 기술을 사용했는데, 이는 모든 가능성을 실제로 다 나열하지 않고도 살펴보는 세련된 방법입니다. 예를 들어, 특정 노래가 상위 5위 안에 포함되는 빈도를 알고 싶다고 합시다. 모든 가능한 플레이리스트를 일일이 적는 대신, 각 위치에서 그 노래가 나타날 확률을 계산하고 이를 모두 더하면 됩니다.

핵심 비법: 베이스라인 보정(Baseline Corrections)
이를 더욱 개선하기 위해, 그들은 '베이스라인 보정'을 추가했습니다. 당신이 시험을 치르는 학생이라고 상상해 보십시오. 만약 당신이 80점을 받았다면, 그것은 좋은 점수일까요? 상황에 따라 다릅니다! 만약 학급 평균이 90점이라면 당신은 성적이 낮은 것이지만, 평균이 50점이라면 당신은 아주 잘한 것입니다. 강화 학습에서 '베이스라인'은 학급 평균과 같습니다. AI는 자신의 보상에서 이 평균값을 빼서, 자신이 기대보다 잘했는지 혹은 못했는지를 확인합니다. 논문은 적절한 베이스라인(구체적으로 노출 분포에 기반한 베이스라인)을 사용하는 것이 학습 과정을 훨씬 더 매끄럽고 빠르게 만든다는 것을 발견했습니다. 이는 AI에게 공정한 비교 대상을 제공하여, 운이 나빠서 낙담하거나 운이 좋아 과도하게 자신감을 갖지 않도록 하는 것과 같습니다.

결과: 매끄러운 여정
저자들이 새로운 방법을 테스트했을 때, 결과는 놀라웠습니다.

• 속도: 새로운 방법은 훨씬 빠르게 학습했습니다. 한 데이터셋에서 새로운 방법은 약 2,500 라운드 만에 최고의 성능에 도달한 반면, 다른 방법들은 근접하는 데 약 7,500 라운드가 필요했습니다. 이는 엄청난 시간 절약입니다.
• 안정성: 기존의 맞춤형 방법(PL-Rank)은 시간이 지나면 성능이 급격히 떨어지며 실패하기 시작했습니다. 반면 새로운 방법은 꾸준함을 유지하며 계속해서 개선되었습니다.
• 사용 편의성: 미래를 위한 가장 큰 승리는 단순함입니다. 기존 방법은 프로그래머가 이해하기 어렵고 깨지기 쉬운 복잡한 맞춤형 수학 코드를 작성해야 했습니다. 하지만 새로운 방법은 JAX와 같은 표준 소프트웨어 도구와 완벽하게 어울립니다. 이는 프로그래머가 "검색 결과를 더 공정하게 만들기"와 같은 새로운 목표를 간단한 공식만 작성함으로써 정의할 수 있으며, 컴퓨터가 무거운 계산 작업을 자동으로 처리할 수 있음을 의미합니다. 이는 자동차 엔진을 손으로 직접 만드는 것에서, 어떤 차에도 끼워 넣을 수 있는 기성 고성능 엔진을 사용하는 것으로 전환하는 것과 같습니다.

이것이 중요한 이유
이것은 단순히 검색 엔진을 약간 더 좋게 만드는 것에 관한 문제가 아닙니다. 이는 AI가 강화 학습으로는 해결하기 너무 어렵거나 불안정했던 더 어려운 문제들을 다룰 수 있는 문을 열어줍니다. 다양한 관점의 뉴스 기사가 공정하게 노출될 기회를 보장하는 것이든, 새로운 AI가 전문가의 행동을 학습하도록 가르치는 것이든, 이 새로운 방법은 이러한 작업들을 신뢰할 수 있고 효율적으로 수행할 수 있게 해줍니다. 저자들은 심지어 그들의 코드를 대중에게 공개하여 다른 사람들이 이 토대 위에 무언가를 구축할 수 있도록 초대했습니다.

요약하자면, 이 논문은 사물을 순위 매기는 AI를 가르치는 혼란스럽고 불안정한 방식을 더 빠르고, 안정적이며, 사용하기 훨씬 쉬운 방법으로 대체합니다. 이는 때때로 복잡한 문제를 해결하는 최선의 방법이 더 크고 복잡한 기계를 만드는 것이 아니라, 문제를 바라보는 방식을 완전히 바꾸는 것임을 상기시켜 줍니다.