기술 요약: 프롬프트 거버넌스? 자연어로 제어되는 기술의 거버넌스에 대하여

문제 정의

생성형 인공지능(GenAI) 시스템, 특히 대규모 언어 모델(LLM)은 정식 코드보다는 자연어 지침(프롬프트)을 통해 점점 더 많이 운영되고 있다. 개발자, 배포자, 최종 사용자를 포함한 이해관계자들은 제약 조건, 우선순위, 준수 규칙을 정의하기 위해 시스템 수준의 지침(예: "당신은 유능한 비서입니다" 또는 "실존하는 공적 인물과 관련된 콘텐츠를 생성하지 마십시오")을 활용한다. 정책 입안자와 규제 기관(예: 미국 및 EU)은 이러한 시스템 프롬프트를 접근 가능하고 통제 가능한 산물로 취급하며, 이것이 신뢰할 수 있는 행동 제어 기제로 기능한다고 가정하기 시작했다.

식별된 핵심 문제는 시스템 프롬프트를 안정적이고 해석 가능한 통제 메커니즘으로 보는 정책적 가정과 그 기술적 실체인 신뢰성 사이의 상당한 불일치이다. 자연어 지침이 다양한 맥락과 적대적 환경에서도 일관되게 작동하여 거버넌스 프레임워크를 지원할 수 있는지에 대한 체계적인 증거가 부족하다. 프롬프트 텍스트를 행동 제어의 대리물(proxy)로 의존하는 것은, 거버넌스가 운영 결과가 아닌 가독성 있는 산물을 대상으로 삼게 되어 "통제에 대한 잘못된 안도감(false sense of control)"을 초래할 위험이 있다.

방법론

저자들은 체계적 문헌 검토와 정책 분석을 결합한 혼합 방법론을 채택하였다:

1. 체계적 문헌 검토 (PRISMA):

   • 범위: 텍스트-대-텍스트 지침 효과에 집중하는 2022~2025년 학술 문헌 검색.
   • 과정: 923개의 식별된 레코드로 시작하여, 저자들은 746개의 초록을 스크리닝하고 373편의 전문 검토를 수행하여 최종적으로 287편의 논문을 선정하였다.
   • 분석: 귀납적 주제 분석을 사용하여, 저자들은 시스템 수준 지침의 목표에 관한 주장들을 추출하였다. 이 주장들은 목표를 촉진하는 "지지적(supportive)" 주장과 목표를 저해하는 "비판적(critical)" 주장으로 코딩되었으며, 유형론으로 합성되었다.

2. 정책 문서 분석:

   • 범위: 시스템 수준 지침을 명시적으로 다루는 관할 구역(미국, EU, 영국, 호주, 싱가포르)의 거버넌스 문서에 대한 탐색적 검색.
   • 사례 연구: 두 가지 특정 프레임워크를 심층 분석하였다:
     • 미국: 행정명령 14319 ("연방 정부 내의 'Woke AI' 방지") 및 편향되지 않은 AI 원칙에 관한 OMB 메모랜덤.
     • EU: (AI 법에 따른) 범용 AI 행동 강령.
   • 목표: 이러한 정책들 내에 존재하는 암묵적 통제 이론을 식별하고, 이를 기술적 증거의 상태와 비교하는 것이다.

주요 기여

1. 시스템 수준 지침 목표의 유형론

문헌 검토 결과, 파편화된 지형과 상충하는 주장들이 드러났다. 저자들은 이를 시스템 목표(AI 행동을 대상으로 함)와 프롬프트 목표(산물 자체를 대상으로 함)로 나뉜 8가지 별도의 목표 범주로 정립하였다:

• 시스템 목표:

  • 정렬(Alignment): 이해관계자의 가치(예: 안전, 중립성)를 반영하도록 행동을 형성함. 증거는 엇갈린다. 일부 연구는 프롬프트가 안전하지 않은 출력을 줄인다고 보여주지만, 다른 연구는 "정렬 속임수(alignment faking)", 편향 증폭, 그리고 자연어가 특정 가치 준수를 보장할 수 없는 한계를 강조한다.
  • 접근성(Accessibility): 자연어를 통해 제어를 용이하게 함. 프롬프트는 편집하기 쉽지만, 문헌은 가독성이 예측 가능성을 의미하지는 않으며, 종종 사용자를 "눈먼 상태로 운영(operating blind)"하게 만든다고 경고한다.
  • 적응성(Adaptability): 도메인이나 페르소나를 위해 모델을 재구성함. 높은 적응성에 대한 주장은 "취약한(brittle)" 페르소나와 길거나 충돌하는 맥락에서의 지침 망각에 대한 증거에 의해 반박된다.
  • 성능(Performance): 작업 정확도를 향상시킴. 특정 프롬프트는 성능을 높일 수 있지만, 이는 맥락 의존적이며 종종 미세 조정(fine-tuning)에 비해 성능이 떨어진다. 긴 프롬프트는 지연 시간을 유발하고 품질을 저하시킬 수 있다.
  • 안정성(Stability): 일관된 행동을 유지함. 연구에 따르면 지침은 멀티 턴 상호작용이나 충돌하는 가이드라인이 존재할 때 안정적인 효과를 내는 데 자주 실패한다.
  • 보안(Security): 공격을 방어하거나 허용함. 프롬프트는 이중 용도이다. 방어 기제(가드레일) 역할을 할 수도 있지만, 탈옥(jailbreak) 및 추출 공격의 주요 경로가 되기도 한다.

• 프롬프트 목표:

  • 구현(Implementation): 프롬프트를 작성하고 유지하는 방법(예: 인간 vs 자동 생성). 문헌은 양쪽 모두의 위험을 언급한다: 자동화된 프롬프트는 드리프트(drift)될 수 있고, 인간의 엔지니어링은 체계적인 개선 경로가 부족하다.
  • 감사 가능성(Auditability): 지침을 가시화하고 추적 가능하게 함. 과제로는 모델 간의 감사 결과 전이성 부족과 빈번한 반복 작업으로 인한 활성 프로프트 버전 재구성의 어려움이 있다.

2. 정책 분석 및 불일치

미국과 EU 프레임워크 분석 결과, 규제 기관은 시스템 프롬프트를 준수 여부를 확인하기 위해 공개 및 검사할 수 있는 가독성 있는 산물로 취급하고 있음이 드러났다.

• 미국 방식: 프롬프트 공개를 "편향되지 않은 AI 원칙"(진리 추구, 이념적 중립성)과의 정렬에 대한 허용 가능한 증거로 취급한다. 이는 규범적 약속을 프롬프트에 작성하는 것이 일관된 행동으로 번역된다고 가정한다.
• EU 방식: 시스템 프롬프트를 평가자를 위한 "모델 사양"에 포함시키며, 프롬프트가 의도된 행동의 유의미한 표현이라고 가정한다.
• 격차: 두 프레임워크 모두 기술적 증거에 의해 일관되게 뒷받침되지 않는 안정성과 통제의 가설에 의존하고 있다. 정책들은 프롬프트를 공급망 갈등과 적대적 조작에 노출된 진화하는 계층 구조의 메커니즘이 아니라, 정적인 사양으로 취급하는 경향이 있다.

결과

• 파편화된 증거: 연구 지형은 모순적인 주장들로 특징지어진다. 프롬프트가 모델을 성공적으로 정렬한다는 연구가 있다면, 다른 연구는 동일한 프롬프트가 다른 조건에서 실패하거나 쉽게 우회될 수 있음을 보여준다.
• "잘못된 통제의 안도감": 프롬프트 텍스트를 검사하는 데 의존하는 거버넌스 방식은 실제 운영되는 것이 아니라 가독성 있는 것만을 규제할 위험이 있다. 인간의 언어적 해석과 기계적 처리 사이의 번역은 매우 복 이질적이며 확률적(stochastic)이다.
• 공급망 복잡성: 시스템 지침은 파운데이션 모델 제공자, 애플리케이션 개발자, 최종 사용자가 참여하는 "프롬프트 스택(prompt stack)" 내에 존재한다. 이러한 계층 간의 충돌(예: 개발자의 안전 제약 조건 vs 사용자의 무력화 시도)은 규제자에게 보이지 않는 경우가 많아 책임 소재를 복잡하게 만든다.
• 가변성(Malleability): 프롬프트는 빈번하게 업데이트, 최적화 또는 재주입된다. 정적인 공개 요구 사항은 이러한 지침의 역동적인 특성을 포착하지 못해 감사 추적을 불완전하게 만든다.

의의 및 주장

본 논문은 자연어 지침을 통한 GenAI 거버넌스는 근본적인 접근 방식의 변화가 필요하다고 주장한다. 저자들은 프롬프트 거버넌스가 불가능하다고 주장하는 것이 아니라, 현재 과장되어 있으며 증거가 부족하다고 주장한다.

• 주의적 입장: 기계를 통제하는 규칙을 쓰는 것은 인간을 통제하는 규칙을 쓰는 것과는 다른 접근 방식이 필요하다. 자연어의 접근성이 그것의 신뢰성을 보장하지는 않는다.
• 거버넌스에 대한 시사점:
  • 텍스트 준수를 넘어: 거버넌스는 단순한 프롬프트 텍스트의 공개를 넘어서야 한다. 이는 공개된 산물을 행동적 증거와 연결하고, 전체 "프롬프트 스택"을 평가하는 것을 요구한다.
  • 사회-기술적 고려사항: 거버넌스는 AI 공급망의 계층적, 다중 이해관계자적 특성과 지침의 가변성을 고려해야 한다.
  • 기능 확대(Function Creep) 방지: 프롬프트 기반 거버넌스를 신뢰할 수 있는 증거가 없는 작업(예: 복잡한 가치 정렬 또는 검열)으로 확장할 위험이 있다.
• 결론: 본 논문은 시스템 수준의 지침이 AI 생태계에서 만연한 개입 수단이지만, 이를 견고한 행동적 증거 없이 안정적이고 해석 가능한 통제 메커니즘으로 취급하는 것은 '준수의 환상(compliance illusion)'을 만들 위험이 있다고 결론짓는다. 효과적인 거버넌스는 쉽게 만들어지는 텍스트 산물보다 실제 행동 결과에 우선순위를 두어야 한다.