Category-Conditioned Web Exposure Tracks Brand Presence in ChatGPT Fanout Queries

현대의 인터넷 연결형 인공지능에게 최고의 카메라나 최고의 프로젝트 관리 도구를 물어볼 때, 기계는 단순히 웹을 스캔하여 처음 발견한 몇 개의 결과를 고르는 것이 아닙니다. 단 하나의 웹페이지를 보기 전부터, AI는 스스로 검색 쿼리를 작성합니다. 이 첫 번째 초안은 순식간에 만들어지며, 종종 캐논(Canon)이나 소니(Sony)와 같은 특정 브랜드 이름을 포함합니다. 이는 인간이나 컴퓨터가 실제 검색 결과를 보기 전에 일어나는 일입니다. 기계는 본질적으로 자신이 어떤 회사를 언급할 용의가 있는지 미리 결정하고 있는 것입니다. 이 초기 결정은 매우 중요한데, 검색 엔진이 그 특정 브랜드들에 관한 페이지들을 찾게 함으로써, 그 브랜드들이 최종 답변에 나타날 가능성을 훨씬 더 높여주기 때문입니다. 만약 어떤 브랜드가 그 첫 번째 초안에서 빠지게 된다면, 설령 기계가 그 브랜드의 존재를 알고 있더라도 그 브랜드는 거의 보이지 않는 존재가 됩니다.

이는 이러한 시스템이 어떻게 작동하는지 이해하려는 사람들에게 당혹스러운 질문을 던집니다. 만약 AI가 브랜드를 알고 있다면, 왜 가끔 그 첫 번째 초안에서 해당 브랜드를 빠뜨리는 것일까요? 기계가 브랜드를 잊어버린 것일까요, 아니면 의도적인 선택을 하는 것일까요? 독립 연구자인 안토니 데로샨(Antony Deroshan)의 새로운 연구는 바로 이 결정의 순간을 조사합니다. 이 연구는 웹을 검색할 수 있는 특정 유형의 인공지능에 초점을 맞추어, 기계가 초기 검색 요청에 어떤 회사 이름을 포함할지 어떻게 선택하는지를 살펴봅니다. 연구는 기계가 단순히 특정 브랜드를 인지하지 못하는 것인지, 아니면 어떤 숨겨진 규칙에 따라 능동적으로 필터링하고 있는 것인지를 묻습니다. 연구 결과는 기계가 브랜드를 완벽하게 알고 있음에도 불구하고, 한 번에 나열할 수 있는 이름의 개수에 엄격한 제한이 있기 때문에 어쩔 수 없이 제외하고 있다는 점을 시사합니다.

이러한 메커니즘을 이해하기 위해, 연구자는 먼저 기계가 알고 있는 것과 말하고자 하는 것을 분리해야 했습니다. 그는 인터넷 접속을 차단한 상태에서 AI에게 이메일 마케팅, 고객 서비스 소프트웨어, 카메라와 같은 카테고리의 선도적인 브랜드들을 나열하도록 요청했습니다. 기계는 실제로 웹을 검색할 때 거의 언급하지 않는 브랜드들을 포함하여 많은 브랜드를 이름 지을 수 있었습니다. 예를 들어, 이메일 마케팅에 대해 어떤 브랜드가 떠오르는지 물었을 때, 기계는 50번의 시도 중 49번이나 "캠페인 모니터(Campaign Monitor)"를 언급했습니다. 그러나 동일한 기계에게 최고의 이메일 마케팅 도구에 대한 실시간 검색을 수행하도록 요청했을 때, 초기 검색 쿼리에 "캠페인 모니터"를 포함한 경우는 50번 중 단 한 번뿐이었습니다. 기계는 분명히 그 브랜드를 알고 있었지만, 검색 요청에서는 지속적으로 이를 누락했습니다. 지식과 행동 사이의 이 간극은 누락이 기억의 실패가 아님을 증명했습니다.

연구자는 왜 이런 일이 발생하는지 알아내기 위해 시뮬레이션을 구축했습니다. 그는 검색 쿼리를 작성할 수는 있지만 실제 웹사이트를 찾아볼 수는 없는 버전의 AI를 만들었습니다. 그는 다양한 제약 조건 아래에서 브랜드 목록을 작성하도록 이 시뮬레이터를 테스트했습니다. 시뮬레이터에게 매우 짧은 쿼리를 작성하라고 명령했을 때, 그것은 실제 기계가 버리는 것과 동일한 브랜드들을 탈락시켰습니다. 하지만 시뮬레이터에게 가능한 한 많은 브랜드를 나열하라고 명령했을을 때, 그것은 평소에 제외되었던 브랜드들을 포함하여 모든 브랜드를 포함했습니다. 이는 기계가 브랜드를 싫어하거나 몰라서 제외하는 것이 아니라, 단일 문장에 담을 수 있는 이름의 예산이 매우 적기 때문에 제외한다는 사실을 밝혀냈습니다. 기계는 본질적으로 아주 짧은 목록을 써 내려가야 하는 사서와 같습니다. 만약 목록에 세 개의 이름만 들어갈 수 있다면, 기계는 상위 세 개를 고를 것이고, 네 번째로 좋은 브랜드는 아무리 유명하더라도 목록에서 완전히 빠지게 됩니다.

연구는 또한 어떤 브랜드가 그 짧은 목록에 들어가는지를 결정하는 요인이 무엇인지 살펴보았습니다. 연구자는 브랜드가 특정 카테로리와 관련하여 인터넷에 얼마나 자주 등장하는지와 기계의 내부 목록에서 얼마나 높은 순위를 차지하는지 사이에 강력한 연관성이 있음을 발견했습니다. 예를 들어, 카메라 브랜드가 카메라에 대해 이야기하는 웹사이트에서 자주 언급될수록, 그 브랜드는 검색 쿼리에 포함될 가능성이 더 높습니다. 그러나 이는 카테고리별로 구체적일 때만 유효합니다. 카메라, 휴대폰, 컴퓨터를 모두 판매하는 거대 기술 기업과 같이 다양한 제품을 만드는 회사는 수백만 개의 웹사이트에 등장할 수 있습니다. 모든 언급 횟수를 센다면 그 회사가 가장 인기 있는 카메라 브랜드처럼 보일 수도 있습니다. 하지만 카메라를 구체적으로 언급하는 웹사이트만을 대상으로 한다면, 다른 브랜드가 실제로 더 두드 much히 부각될 수 있습니다. 연구는 기계가 단순히 회사가 일반적인 유명세가 아니라, 특정 분야 내에서의 가시성에 기반하여 브луument히 주목한다는 것을 보여주었습니다.

이 패턴이 새로운 카테고리에서도 유지되는지 테스트하기 위해, 연구자는 이전에 연구하지 않았던 그룹인 전자 서명 소프트웨어에 동일한 방법을 적용했습니다. 그는 각 브랜드가 문서 서명과 관련된 웹사이트에 얼마나 자주 등장하는지 측정하고, 이를 기계가 시뮬레이션된 검색 목록에 포함시킨 횟수와 비교했습니다. 결과는 거의 완벽하게 일치했습니다. 관련 웹사이트에 가장 자주 등장하는 브랜드들이 기계가 짧은 목록에 포함시키기로 선택한 브랜드들이었습니다. 이는 기계의 내부 순위가 웹상에서 브랜드가 어떻게 표현되는지, 특히 질문이 던져진 맥락과 밀접하게 연결되어 있음을 시사합니다. 기계는 이러한 선호도를 스스로 만들어내는 것이 아니라, 인터넷으로부터 학습한 정보의 구조를 반영하고 있는 것입니다.

연구는 또한 다른 가능한 설명들을 배제했습니다. 기계가 검색 쿼리와 상관없이 텍스트를 읽을 때 특정 브랜드를 선호하는지 테스트했습니다. 한 테스트에서, 기계는 브랜드 이름만 바뀐 세 개의 동일한 가상 회사 설명을 보여주었습니다. 기계는 일관되게 하나의 브랜드를 다른 브랜드보다 더 많이 선택하며 약간의 선호도를 보였습니다. 그러나 이러한 선호도는 기계가 검색 쿼리를 위해 선택한 브랜드들과 일치하지 않았습니다. 기계는 설명을 읽을 때는 특정 브랜드를 좋아할 수 있지만, 무엇을 검색할지 결정할 때는 다른 브랜드를 선택합니다. 이는 검색 쿼리에 브랜드를 포함하기로 하는 결정이 단순히 브랜드 이름을 좋아하는 것과는 별개의 과정임을 입증합니다. 연구는 또한 저품질 또는 중복 웹사이트를 데이터에서 제거했을 때 결과가 변하는지 확인했습니다. 결과는 변하지 않았습니다. 웹 가시성과 기계의 선택 사이의 연결 고리는 데이터를 정제한 후에도 여전히 강력하게 유지되었습니다.

결국, 이 연구는 이러한 검색 기능 탑재 기계들이 어떻게 작동하는지에 대한 명확한 그림을 그려줍니다. 그들은 무작위로 텍스트를 생성하는 장치도 아니고, 단순히 찾은 모든 것을 나열하는 단순한 검색 엔진도 아닙니다. 그들은 일련의 제약된 선택을 내리는 시스템입니다. 그들은 방대한 양의 정보를 알고 있지만, 인터넷에 질문을 던져야 할 때 그 지식을 매우 짧은 목록으로 압축해야 합니다. 선정된 브랜드들은 단순히 알려진 것뿐만 아니라, 질문의 특정 맥락 속에서 매우 높은 가시성을 가진 브랜드들입니다. 이러한 시스템에 의해 발견되기 위해서, 단순히 존재하는 것만으로는 충분하지 않습니다. 반드시 적절한 대화 속에 두드러지게 자리 잡아야 합니다. 기계의 첫 번째 초안은 문지기이며, 그 문을 통과하기 위한 열쇠는 단순히 유명해지는 것이 아니라, 사람들이 던지는 특정 주제에 대해 가장 관련성 높은 옵션이 되는 것입니다. 이 통찰은 인공지능 시대에 가시성을 어떻게 생각해야 하는지에 대한 관점을 바꾸어 놓으며, 단순히 온라인에 존재하는 것을 넘어, 사람들이 묻는 질문과 명확하고 구체적으로 연관되는 것에 초점을 맞추게 합니다.