HIERA: Hierarchical Multi-Agent Relevance Assessment for Content Discovery Systems

당신이 완벽한 영화를 찾거나 DIY 프로젝트에 꼭 필요한 도구를 찾으려고 노력하고 있다고 상상해 보십시오. 당신은 검색창에 몇 단어를 입력하고, 컴퓨터는 당신이 진짜로 의도하는 바가 무엇인지 추측해야 합니다. 이것이 바로 알고리즘이 디지털 사서나 점원 역할을 하는 '콘텐츠 발견(content discovery)'의 세계입니다. 하지만 여기에 까다로운 문제가 있습니다. 컴퓨터는 인간의 직관을 가지고 있지 않습니다. 그들은 "메탈릭 머큐리 마감(metallic mercury finish)"이 인간에게는 사실 "회색"을 의미할 수 있다는 점이나, "7단 서랍장"이 단어가 완벽히 일치하지 않더라도 "회색 서랍장"이라는 요구에 부합한다는 점을 이해하는 데 어려움을 겪습니다.

이를 해결하기 위해, 과학자들은 컴퓨터에게 인간처럼 읽고 쓸 수 있는 초지능형 AI 뇌인 '대규모 언어 모델(LLM)'을 사용하는 법을 가르쳐 왔습니다. 목표는 이 AI들이 인간처럼 검색 결과가 얼마나 관련성이 있는지 판단하게 하는 것입니다. 하지만 단 하나의 AI 뇌에게 이 모든 것을 한꺼번에 수행하도록 요청하는 것은, 마치 한 사람에게 색채 전문가, 스타일 비평가, 그리고 논리 퍼즐 해결사가 동시에 되어달라고 요구하는 것과 같습니다. 그들은 종-종 혼란을 느끼거나, 연결 고리를 놓치거나, 혹은 아주 정확하지는 않지만 그저 "적당히 괜찮은" 답을 내놓곤 합니다. 이 논문은 단순하지만 강력한 질문을 던집니다. 만약 우리가 하나의 거대한 뇌에 의존하는 대신, 퍼즐을 풀기 위해 서로 대화하는 작고 조직화된 전문가 팀을 구축한다면 어떨까?

Amazon에서 연구 중인 이 논문의 저자들은 HIERA(계층적 다중 에이전트 관련성 평가)라고 불리는 새로운 시스템을 제안합니다. HIERA를 단 한 명의 초특급 탐정이 아니라, 엄격한 지휘 체계를 갖춘 잘 운영되는 탐정 사무소라고 생각해 보십시오. 이들의 시스템에는 모든 일을 처리하는 단 하나의 에이전트만 있는 것이 아닙니다. 대신, 사건이 까다로운지 결정하는 '판사(Judge)', 사용자가 진정으로 원하는 것이 무엇인지 파악하는 '쿼리 분석가(Query Analyst)', 제품이나 영화를 상세히 연구하는 '아이템 분석가(Item Analyst)', 그리고 사용자의 바람과 아이템의 실체 사이의 점들을 연결하는 팀장 역할을 하는 '관계 분석가(Relation Analyst)'가 있습니다.

논문에 따르면, 이 조직적인 팀 접근 방식은 기존의 방식들보다 훨씬 뛰어난 것으로 나타났습니다. 연구진이 영화 검색부터 홈 임프루브먼트 제품에 이르는 다섯 가지 데이터 세트에 대해 HIERA를 테스트했을 때, HIERA는 11개의 다른 방법들을 제리쳤습니다. 예를 들어, EVS(엔터테인먼트 비디오 검색)라는 데이터 세트에서 HIERA는 기존의 가장 우수한 방법보다 정확도를 무려 38%나 향상시켰습니다. Home Depot 데이터 세트에서는 10.2%를 향상시켰습니다.

결정적으로, 연구진은 이 마법이 단순히 더 많은 에이전트나 더 많은 정보를 가졌기 때문이 아님을 증명했습니다. 그들은 동일한 에이전트와 외부 지식을 부여한 뒤, 각자 독립적으로 작업하다가 마지막에 결론에 투표만 하는 시스템과 비교 실험을 진행했습니다. 그 '수평적'인 팀은 훨씬 더 낮은 성과를 보였습니다. 사실, 기존의 조율되지 않은 방법들에 외부 지식을 추가했을 때, 그 방법들은 오히려 성능이 더 나빠졌습니다. 이는 핵심 비결이 바로 **계층 구조(hierarchy)**에 있음을 시사합니다. 즉, '관계 분석가'가 최종 판사가 결정을 내리기 전에 발견된 사실들을 종합하여 하나의 일관된 이야기를 만들어내는 특정한 방식 말입니다.

이 논문은 스타일, 색상, 기능, 그리고 의도를 동시에 이해해야 하는 복잡한 작업의 경우, 의견을 외치는 개인들의 집단이나 모든 것을 한 번에 하려는 단일 뇌보다 생각을 조율하는 구조화된 팀이 훨씬 더 우월하다는 것을 보여줍니다. 비록 이 시스템이 실행되는 데 시간이 조금 더 걸리긴 하지만(단순한 방법들이 1초 미만인 것에 비해 약 35초 소요), 인간 전문가보다는 50배 빠르며 훨씬 더 신뢰할 수 있는 답변을 제공합니다. 저자들은 만약 당신이 스마트한 검색 시스템을 구축하고 싶다면, 더 강력한 컴퓨터나 더 많은 데이터를 추가하는 것보다 좋은 조정 구조에 투자하는 것이 더 중요하다고 결론짓습니다.