우리가 거대 언어 모델에 질문을 던질 때, 우리는 흔히 인간과 기계 사이의 직접적인 대화를 상상하곤 합니다. 우리는 그 답변이 모델이 학습한 데이터와 우리가 입력한 단어들에 의해서만 형성된, 컴퓨터의 뇌에서 곧바로 나온 것이라고 가정합니다. 이러한 관점은 모델을 고정된 도서관처럼 취급하며, 그 안의 책들은 고정되어 있고 변수는 사서가 어떤 책을 선반에서 꺼내느냐뿐이라고 봅니다. 그러나 이러한 시스템이 현실 세계에서 작동하는 방식은 더 복잡합니다. 이 모델 뒤에 있는 기술은 단순히 정보를 검색하는 수준을 넘어, 단 한 문장을 완성하기도 전에 다음에 올 단어의 확률을 미묘하게 재작성할 수 있을 정도로 성숙했습니다. 이는 모델의 핵심 지식과 여러분의 화면에 보이는 최종 텍스트 사이에 존재하는 숨겨진 소프트웨어 계층에서 일어납니다. 이곳은 모델의 근본적인 기억을 변경하지 않고도 기계의 가공되지 않은 출력을 유도하거나, 조정하거나, 조종할 수 있는 공간입니다.

아우구스토 카마르고(Augusto Camargo)의 새로운 논문은 이 숨겨진 계층의 결과에 대해 탐구하며, 우리가 오직 모델 자체에만 관심을 둔다면 시스템의 잘못된 부분을 보고 있는 것이라고 주장합니다. 저자는 AI가 말하는 것에 미치는 가장 중대한 영향력이 모델의 학습 데이터나 내부 코드에 있는 것이 아니라, 모델이 말을 내뱉기 직전에 적용되는 보이지 않는 규칙에 있을 수 있다고 제안합니다. 이 연구는 초점을 "모델이 무엇을 아는가?"에서 "누가 모델이 무엇을 말할 수 있는지 통제하는가?"로 전환합니다. 이 논문은 이러한 시스템이 현재 세계를 조작하기 위해 구체적이고 입증된 방식으로 사용되고 있다고 주장하는 것이 아니라, 그럴 수 있는 기술적 도구들이 이미 존재하며, 다른 목적으로 이미 사용 중이고, 사용자들에게는 거의 보이지 않는 상태라는 점을 지적합니다. 이는 당신이 받는 답변이 단지 모델의 반영이 아니라, 누군가 모르는 사이에 정치적, 상업적, 또는 이념적 이유로 조정될 수 있는 시스템의 산물임을 인식하라는 촉구입니다.

이 논쟁의 핵심은 단순하지만 강력한 관찰에 기초합니다. 즉, 모델은 그 답변을 전달하는 시스템과 동일한 것이 아니라는 점입니다. 표준적인 설정에서 사용자가 프롬프트를 입력하면, 모델은 다양한 확률을 가진 다음 단어들의 목록을 생성하고, 그 후 컴퓨터가 하나를 선택합니다. 논문은 현대의 실제 응용 프로그램에서는 그 중간에 종종 추가적인 단계가 존재한다고 지적합니다. 컴퓨터가 최종 선택을 내리기 전, 별도의 소프트웨어가 그 확률들을 살펴보고 이를 조정할 수 있습니다. 모델의 내부 가중치를 바꾸거나 사용자의 프롬프트를 수정하지 않고도, 특정 단어가 나타날 확률을 약간 높이거나 다른 단어의 확률을 약간 낮출 수 있습니다. 이 과정은 라디오 방송국이 노래 자체를 바꾸지는 않으면서도 특정 노래를 돋보이게 하기 위해 볼륨을 약간 높이는 것과 비슷합니다. 논문은 이를 생성의 바로 마지막 순간에 작동하는 규칙인 "추론 정책(inference policy)"으로 공식화합니다.

저자는 이러한 능력이 이론적인 것이 아니라 이미 다른 용도로 사용되는 입증된 기술임을 보여줍니다. 예를 들어, 기업들은 텍스트에 보이지 않는 워터마크를 삽ert하여 그것이 AI에 의해 작성되었음을 증명하거나, 모델을 유해한 언어로부터 멀어지도록 유도하는 데 유사한 방법을 사용합니다. 논문은 워터마크를 추가하거나 안전을 보장하기 위해 사용되는 동일한 기술적 메커니즘이 훨씬 더 미묘한 것, 즉 '프레이밍(framing)'을 위해 전용될 수 있다고 주장합니다. 프레이밍이란 어떤 주제를 제시할 때 특정 측면은 강조하고 다른 측면은 경시함으로써, 사실을 왜곡하지 않으면서도 사람이 그 문제를 이해하는 방식에 영향을 미치는 행위입니다. 시스템은 정부 정책을 보호 조치처럼 들리게 하는 단어들을 일관되게 선택하도록 프로그래밍될 수도 있고, 반대로 동일한 정책을 관료적 부담처럼 들리게 하도록 튜닝될 수도 있습니다. 두 답변 모두 사실적으로는 옳겠지만, 단어의 선택이 사용자를 특정한 정서적 또는 정치적 결론으로 유도할 것입니다.

이는 논문에서 "귀속 문제(attribution problem)"라고 부르는 중대한 문제를 야기합니다. 만약 사용자가 정치적인 질문을 하고 편향된 답변을 받는다면, 그 편향이 어디에서 왔는지 알아내는 것은 거의 불가능합니다. 그것이 모델이 편향된 데이터로 학습되었기 때문일까요? 개발자가 시스템에 숨겨진 지침을 추가했기 때문일까요? 아니면 제삼자가 특정 방향으로 확률을 이동시키기 위해 비용을 지불했기 때문일까요? 이 조정은 답변이 생성되는 찰나의 순간에 일어나기 때문에 대화 기록에는 아무런 흔적을 남기지 않습니다. 실수로 드러날 수 있는 숨겨진 지침이나, 테스트에서 드러날 수 있는 편향된 학습 세트와 달리, 이러한 종류의 조종은 모델의 코드나 최종 텍스트를 살펴보는 누구에게도 보이지 않습니다. 논문은 이로 인해 AI가 표현하는 의견에 대해 누구에게 책임을 물을 것인지 결정하기가 매우 어려워진다고 제안합니다. 왜냐하면 영향력의 원천이 모델 자체가 아니라 배포 계층에 숨겨져 있기 때문입니다.

또한 저자는 "확률 배치(probability placement)"라는 개념을 도입하여, 이는 새로운 형태의 광고를 설명합니다. 기업이 제품을 명시적으로 언급하도록 비용을 지불하는 대신, 모델이 옵션 사이에서 결정을 내릴 때 자사의 브랜드가 선택될 확률을 약간 더 높이도록 비용을 지불할 수 있습니다. 어떤 데이터베이스를 사용할지에 대한 추천을 묻는 상황을 상상해 보십시오. 모델은 자연스럽게 세 가지 옵션이 모두 똑같이 좋다고 생각할 수 있지만, 상업적 정책이 확률을 미묘하게 밀어 넣어 유료 기업의 제품이 가장 가능성 높은 선택지가 되도록 만들 수 있습니다. 이는 명시적인 광고 없이, 사용자가 영향을 받고 있다는 사실을 인지하지 못한 채, 그리고 모델이 무언가를 "판매"하도록 명령받지 않은 상태에서도 이루어집니다. 이는 상업적 영향력을 추천의 구조 속에 직접 심어 넣어, 그것이 자연스럽고 편향되지 않은 의견처럼 느껴지게 만드는 방식입니다.

논문은 이러한 역학 관계가 유럽연합(EU)의 AI 법안 및 광고 표준과 같은 현재의 법률 및 규제와 어떻게 상호작용하는지 검토합니다. 저자는 잠재적인 조작을 방지하거나 상업적 관계를 공개하도록 하는 법률이 존재하지만, 이들은 구형 기술을 염두에 두고 작성되었다고 지적합니다. 이 법들은 제품이 홍보되고 있다면 그것이 명백히 드러날 것이라고 가정합니다. 하지만 시스템이 단어의 등장 확률을 아주 미세하게 변화시켜 홍보하는 경우에는 이를 고려하지 못합니다. 저자는 시스템이 사용자를 특정 정치적 견해나 상업적 선택으로 체계적으로 유도할 수 있다면, 이는 정보에 입각한 의사결정이라는 개념 자체에 도전하는 것이라고 주장합니다. 그 해악은 단일 대화에서는 즉각적이거나 명백하게 나타나지 않을 수 있지만, 논문은 수백만 번의 상호작용을 통해 이러한 미묘한 조종이 축적되어 여론과 시장 행동을 심오한 방식으로 형성할 수 있다고 시사합니다.

궁극적으로 이 연구는 "추론 정책 투명성(inference policy transparency)"이라는 새로운 거버넌스 원칙을 제안합니다. 이는 기업이 모델을 어떻게 학습시켰는지뿐만 아니라, 모델이 사용될 때 어떻게 조종되고 있는지도 공개할 것을 요구합니다. 이는 확률을 수정하는 규칙이 식품 포장지의 라벨처럼 가시적이고 감사 가능해야 한다는 호출입니다. 목표는 질문을 "모델이 무엇을 인코딩하는가?"에서 "모델과 사용자 사이의 확률 분포를 누가 통제하는가?"로 전환하는 것입니다. 논문은 이러한 시스템이 우리가 정보에 접근하고, 결정을 내리며, 아이디어를 토론하는 방식의 중심이 됨에 따라, 우리는 모델은 방정식의 일부일 뿐이라는 점을 인식해야 한다고 결론짓습니다. 기계와 인간 사이에 놓인 보이지 않는 계층이야말로 이제 현실을 형성하는 진정한 권력이 머무는 곳이며, 그 계층은 현재 어둠 속에서 작동하고 있습니다.