Measuring brands in machine answers: A scoping review and validity framework for large language model brand-visibility audits
38개의 실증적 연구를 대상으로 한 이 범위 검토(scoping review)는 현재의 AI 브랜드 가시성 감사가 방법론적 불일치와 상업적 편향으로 인해 심각한 타당성 격차와 상충하는 결론을 겪고 있음을 밝히며, 저자는 대규모 언어 모델 답변에서의 브랜드 포함과 선택 사이의 모순을 해결하기 위해 2단계 이론적 프레임워크와 새로운 보고 표준을 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 시장에서 브랜드의 성공은 종종 소비자의 마음속에 적절한 순간에 진입하느냐에 달려 있습니다. 수십 년 동안 마케터들은 구매 전 사람이 실제로 고려하는 제품의 정신적 요약 목록인 '고려 집합(consideration set)'을 연구해 왔습니다. 만약 브랜드가 그 목록에 없다면, 제품이 아무리 좋아도 사실상 보이지 않는 존재나 다름없습니다. 오늘날, 쇼퍼와 그 정신적 목록 사이에는 인공지능 어시스턴트라는 새로운 문지기가 등장했습니다. 사람이 대규모 언어 모델에게 최고의 하이킹 재킷이나 신뢰할 수 있는 회계사를 추천해 달라고 요청할 때, 기계는 단순히 링크 목록을 반환하는 것이 아닙니다. 기계는 특정 브랜드의 순위가 매겨진 짧은 목록을 생성하며, 종종 짧은 설명도 함께 제공합니다. 이 답변은 인간이 고려할 옵션을 결정하는 사전 선택된 메뉴 역할을 합니다.
연구자와 비즈니스 리더들이 직면한 질문은 이러한 기계 생성 목록이 공정하고 정확하며, 심지어 안정적인가 하는 점입니다. 이 목록은 단순히 가장 크고 유명한 기업들을 선호하는 것일까요, 아니면 품질에 보상을 주는 것일까요? 이들은 작은 규모의 지역 비즈니스에게도 기회를 줄까요, 아니면 그 브랜드들은 완전히 배제되는 것일까요? 이러한 시스템은 끊임없이 변화하고 내부 로직이 숨겨져 있기 때문에, 이러한 질문에 답하기 위해서는 새로운 종류의 조사가 필요합니다. 우리는 단순히 기계 내부를 들여다볼 수 없으므로, 기계에게 수천 개의 질문을 던지고 기계가 돌려주는 답변을 면밀히 분석해야 합니다.
독립 연구자인 샤벨 사미 이브라힘(Charbel Sami Ibrahim)의 최근 스코핑 리뷰(scoping review)는 바로 이 문제를 다룹니다. 이 연구는 대규모 언어 모델에게 브랜드를 추천하도록 요청한 2024년에서 2026년 사이의 38가지 서로 다른 조사들을 검토하며 빠르게 성장하는 분야의 지도를 그리는 역할을 합니다. 목표는 단 하나의 완벽한 답을 찾는 것이 아니라, 왜 이 서로 다른 연구들이 종종 상충하는 결론에 도달하는지를 이해하는 것이었습니다. 어떤 보고서들은 유명 브랜드가 모든 답변을 지배한다고 주장하는 반면, 다른 보고서들은 작은 브랜드도 좋은 평점을 보유하고 있다면 경쟁할 수 있다고 시사합니다. 각 연구에서 사용된 방법론을 비교함으로써, 이 리뷰는 이러한 모순이 반드시 브랜드 자체에 관한 것이 아니라, 질문이 어떻게 던져졌는지와 답변이 어떻게 집계되었는지에 관한 것임을 밝혀냅니다.
리뷰 결과, 이 분야는 여전히 초기 단계의 취약한 상태에 있는 것으로 나타났습니다. 검토된 대부분의 연구는 독립적인 전문가들의 피어 리뷰(동료 검토)를 거치지 않았으며, 많은 연구가 브랜드 가시성을 높이는 도구를 판매하려는 상업적 이해관 관계가 있는 집단에 의해 수행되었습니다. 더욱이 데이터는 불완전한 경우가 많았습니다. 많은 연구가 결과의 안정성을 확보하기 위해 질문을 충분히 반복하지 않았으며, 판매 수치나 브랜드 인지도 조사와 같은 실제 시장 데이터와 자신의 발견을 대조해 본 연구도 거의 없었습니다. 연구자는 많은 연구가 구축된 방식에서 결정적인 결함을 식별했습니다. 즉, 그들은 프로세스의 매우 다른 두 단계를 구분하는 데 실패한다는 것입니다. 첫 번째 단계는 브랜드가 답변에 등장하느냐 하는 것이고, 두 번째 단계는 이미 등장한 브랜드가 다른 브랜드보다 높게 순위가 매겨지거나 추천되느냐 하는 것입니다.
리뷰가 이 두 단계를 분리했을 때, 더 명확한 그림이 드러납니다. 증거에 따르면, 답변에 브랜드를 포함시키는 것은 해당 브랜드에 대해 온라인상에 존재하는 텍스트의 양에 크게 좌우됩니다. 만약 어떤 회사가 웹사이트, 리뷰, 디렉토리 등에 잘 기록되어 있다면, 기계의 목록에 포함될 가능성이 훨씬 높습니다. 이것은 '멤버십(membership)'의 문제입니다. 그러나 일단 브랜드가 목록에 올라가면 규칙은 바뀌는 듯합니다. 리뷰는 기계가 이미 포함된 여러 브랜드 사이에서 선택해야 할 때, 단순히 브랜드의 명성보다는 고객 평점이나 가격과 같은 특정 속성에 더 의존할 수 있음을 시사합니다. 이는 뛰어난 리뷰를 가진 작은 브랜드가 유명한 브랜드보다 더 나은 성과를 낼 수 있음을 의미하지만, 이는 오직 그 작은 브랜드가 운 좋게 목록에 포함되었을 때만 가능한 일입니다.
또한 이 연구는 사용된 언어나 질문자의 위치에 따라 결과가 얼마나 쉽게 휘둘릴 수 있는지를 강조합니다. 현지 언어로 질문하면 영어 쿼리에서는 절대 나타나지 않을 지역 비즈니스가 등장하곤 합니다. 마찬가지로, 사용 중인 AI 모델의 특정 버전에 따라 추천되는 브랜드 세트 전체가 바뀔 수 있습니다. 이 때문에 한 브랜드의 '가시성'을 보여준다고 주장하는 단일 수치는 종종 오해의 소지가 있습니다. 어떤 브랜드가 한 플랫폼에서는 답변의 90%에 나타나지만 다른 플랫폼에서는 10%에 불과할 수 있으며, 맥락을 모르는 상태에서의 결합 점수는 의미가 없습니다.
아마도 가장 중요한 발견은 연구 설계 자체가 그 결과를 결정한다는 점일 것입니다. 기계에게 처음부터 브랜드를 이름 대라고 요청하는 연구들은 거대하고 유명한 기업들의 압도적인 우위를 보여주는 경향이 있습니다. 반면, 기계에게 고정된 옵션 목록을 제공하고 그중 최선의 것을 고르라고 요청하는 연구들은 작은 경쟁자가 더 나은 속성을 가지고 있다면 유명 브랜드가 우위를 잃는다는 것을 보여줍니다. 이것이 왜 어떤 보고서는 AI 세계를 유명 브랜드가 지배한다고 말하고, 다른 보고서는 경기장이 평등하다고 말하는지에 대한 이유를 설명해 줍니다. 그들은 서로 다른 과정의 부분을 측정하고 있는 것입니다. 리뷰는 기계가 브랜드를 어떻게 다루는지 진정으로 이해하기 위해서, 연구자와 관리자들이 단일 점수를 찾는 것을 멈춰야 한다고 결론짓습니다. 대신, 포함(inclusion)과 선택(selection)을 분리하여 측정하고, 동일한 질문의 다양한 버전을 던져야 하며, 기계가 실제로 올바른 브랜드를 식별하고 있는지 확인해야 합니다. 이러한 기준이 충족될 때까지, 마케팅 예산을 안내하는 데 사용되는 숫자들은 불확실하며, 인공지능이 브랜드 경쟁에 미치는 진정한 영향은 많은 조각이 빠진 퍼즐로 남을 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.