When Modality Importance Does Not Translate into Capacity Gains: A Controlled Study of Asymmetric Multimodal Recommendation

디지털 시대에 우리는 우리가 읽는 책부터 구매하는 옷에 이르기까지, 온라인에서 이용 가능한 압도적인 선택의 홍수를 헤쳐 나가기 위해 추천 시스템에 의존합니다. 이러한 시스템은 우리의 과거 행동으로부터 학습하며, 우리가 이전에 좋아했던 것들의 패턴을 포착하여 다음에 무엇을 즐길지 추측하는 방식으로 작동합니다. 그러나 사용자가 플랫폼에서의 기록이 매우 적을 경우, 시스템은 스마트한 추측을 내릴 충분한 데이터가 부족하여 어려움을 겪습니다. 이를 해결하기 위해 엔지니어들은 제품 설명에 담긴 텍스트나 사진 속의 픽셀과 같이 아이템 자체에 대한 추가적인 세부 정보를 시스템에 입력하는 '멀티모달(multimodal)' 정보를 추가하기 시작했습니다. 논리는 명쾌해 보였습니다. 만약 시스템이 아이템을 보고 읽을 수 있다면, 아이템을 더 잘 이해할 수 있을 것이라는 점입니다. 이에 따라 텍-스트와 같은 한 종류의 정보가 이미지와 같은 다른 정보보다 더 유용해 보인다면, 해당 특정 유형의 데이터를 처리하는 데 더 많은 '두뇌 능력(brain power)'을 부여해야 한다는 자연스러운 가정이 뒤따랐습니다.

에스키셰히르 기술 대학교(Eskişehir Technical University)의 한 연구자는 통제된 실험을 통해 이 가정을 테스트하기로 했으며, 다음과 같은 단순하지만 심오한 질문을 던졌습니다. 만약 텍스트가 이미지보다 더 도움이 된다면, 텍스트 처리 부분에 더 많은 용량을 할당하는 것이 실제로 최종 추천 성능을 향상시키는가? 이 연구는 사용자 행동과 아이템 콘텐츠를 모두 사용하여 아이템 간의 관계 지도를 구축하는 특정 유형의 추천 엔진에 초점을 맞추었습니다. 연구자는 두 가지 버전의 시스템을 만들었습니다. 한 버전은 텍스트와 이미지 데이터를 동등하게 취급하여 동일한 양의 처리 능력을 부여했습니다. 다른 버전은 텍스트를 우선시하도록 설계되어, 전체 기본적인 계산량은 정확히 동일하게 유지하면서도 이미지에 대한 공간은 줄이는 대신 텍스트를 위한 훨씬 더 넓은 처리 경로를 제공했습니다. 목표는 이러한 자원의 이동이 사용자에게 더 나은 결과를 가져다주는지 확인하는 것이었습니다.

결과는 놀라웠으며 직관적인 설계 논리에 도전했습니다. 세 가지 온라인 쇼핑 카테고리(유아 용품, 스포츠 용품, 의류) 전체에서 텍스트에 더 많은 힘을 실어준 시스템이 균형 잡힌 시스템보다 더 나은 성능을 보이지 않았습니다. 실제로 스포츠 및 의류 카테고리의 경우, 텍스트 우선 버전과 균형 잡힌 버전 사이의 차이는 거의 제로에 가까웠으며 통계적으로 유의미하지 않았습니다. 유아 용품 카테고리의 경우에도 결과는 통계적으로 유의미하지 않았으며, 평균 차이는 음수였습니다. 연구는 단순히 '더 중요한' 정보원에 더 많은 용량을 할당하는 것이 더 나은 추천 엔진으로 이어진다는 증거를 찾지 못했습니다. 연구진은 시스템의 아키텍처가 해당 정보가 최종 결정에 직접적인 영향을 미치도록 허용하지 않는다면, 가장 유용한 정보원을 자동으로 높이는 전략은 결함이 있는 전략이라고 결론지었습니다.

왜 이런 일이 발생했는지 이해하기 위해, 연구자는 정보가 실제로 어떻게 이동하는지 보기 위해 기계 내부를 들여다보았습니다. 그들은 텍스트 처리 부분이 크게 변화하고 추가된 용량을 사용하고 있음에도 불구하고, 그것이 주요 목표로부터 차단되어 있다는 것을 발견했습니다. 시스템은 텍스트와 이미지 특징이 아이템 관계의 배경 지도를 구축하도록 설계되었지만, 이 지도는 이후 최종 점수 산정 과정과는 별개로 고정되어 사용되었습니다. 텍스트 데이터는 마치 시끄러운 방 안의 속삭임처럼 매우 희미하고 부차적인 신호를 통해서만 시스템에 영향을 미쳤을 뿐, 직접적인 명령을 내리지 못했습니다. 메인 랭킹 엔진이 텍스트 처스를 직접 '보고' 혹은 조정할 수 없었기 때문에, 텍스트 브랜치에 더 많은 힘을 더하는 것은 스피커에 연결되지 않은 라디오 방송국의 볼륨을 높이는 것과 같았습니다. 추가된 용량은 사용되었지만, 그것은 가장 중요한 부분에 도달하지 못했습니다.

연구는 또한 텍스트나 이미지를 추가하는 것의 가치가 판매되는 제품의 구체적인 유형에 전적으로 달려 있다는 점을 밝혀냈습니다. 의류 카테토리의 경우, 텍스트와 이미지를 모두 사용하는 시스템이 사용자 행동만을 보는 시스템보다 유의미하게 높은 성능을 보였습니다. 그러나 유아 용품과 스포츠 용품의 경우, 멀티모달 시스템은 이미지와 텍스트를 무시한 더 단순한 버전보다 오히려 성능이 떨어졌습니다. 이는 더 많은 정보를 추가하는 것이 항상 도움이 되는 것은 아니라는 점을 시사합니다. 때로는 추가된 데이터가 시스템을 혼란스럽게 하거나 정확도를 떨어뜨리는 노이즈를 유발할 수 있습니다. 시각적 또는 텍스트적 세부 사항의 유용성은 보편적인 규칙이 아니라, 데이터셋과 특정 아이템에 따라 변하는 조건입니다.

결과가 가장 불안정했던 유아 용품 카테고리에서 특히 드러난 흥미로운 세부 사항이 있었습니다. 실험의 한 특정 실행 과정에서, 시스템은 자신의 매우 초기 버전을 최적의 모델로 선택한 반면, 그와 쌍을 이루는 대응 모델은 훨씬 나중 버전을 선택했습니다. 이 작은 타이밍의 차이는 성능의 거대한 격차를 만들어냈고, 텍스트 우선 시스템이 최종 평균에서 훨씬 더 나쁘게 보이도록 만들었습니다. 이는 이러한 시스템을 훈련하는 방식에 숨겨진 취약성을 강조했습니다. 즉, 학습 과정 중의 아주 작은 무작위 변동이 최종 모델을 선택하는 방식에 의해 증폭되어 예측 불가능한 결과를 초래할 수 있다는 것입니다. 연구자는 이러한 민감성 때문에, 설령 디자인 변경이 유망해 보이더라도 최종 결과는 디자인 자체가 아니라 훈련이 거친 특정 경로에 의해 크게 좌우될 수 있다고 언급했습니다.

궁극적으로, 이 연구는 우리가 지능형 시스템을 구축하는 방식에 대한 경고의 메시지를 전달합니다. 이는 어떤 정보가 유용한지 식별하는 것이 첫 번째 단계일 뿐이며, 두 번째이자 아마도 더 중요한 단계는 시스템이 결정을 내릴 때 그 정보를 사용할 수 있는 직접적이고 안정적인 경로를 갖추도록 보장하는 것임을 보여줍니다. 특정 유형의 데이터를 처리하기 위해 시스템에 더 많은 자원을 주는 것은, 그 자원이 결과를 직접 형성할 수 있는 아키텍처를 갖추지 못했다면 보장된 해결책이 아닙니다. 연구는 엔지니어들이 모델의 서로 다른 부분의 크기를 조정하기 시작하기 전에, 먼저 그 부분들이 달성하고자 하는 목표에 실제로 연결되어 있는지 확인해야 한다고 제안합니다. 그러한 직접적인 연결 없이는, 용량을 추가하는 것은 단지 최종 제품을 개선하지 못한 채 내부 기계 장치를 재배열하는 연습에 불과합니다.