기술 요약: 공공 부문 LLM을 위한 프롬프트는 커먼즈(Commons)로서 거버넌스가 이루어져야 한다

1. 문제 제기

공공 기관들은 초안 작성, 요약, 서비스 분류와 같은 행정 업무를 수행하기 위해 대규모 언어 모델(LLM)을 점점 더 많이 도입하고 있다. 이러한 맥락에서 프롬프트는 단순한 일시적 입력값이 아니라, 역할 지침, 의사결정 프레임워크, 가치 주장을 인코딩하는 구성 가능한 "정책 계층(policy layer)"으로서 기능한다. 본 논문은 현재의 거버넌스 체계가 상류의 산출물(모델 가중치, 학습 데이터)과 하류의 정렬(사후 학습 제약 조건)에만 집중함으로써, 실제 배포 시 사용되는 특정 프롬프트 컬렉션을 불투명하게 남겨두고 있다는 점에서 불충분하다고 주장한다.

결과적으로, 프롬프트 선택은 공식적인 검토 없이 팀이나 벤더 사이에서 비공식적으로 유통되는 경우가 많다. 단일 프롬프트가 기본값으로 설정될 때, 그 안에 내재된 가정들은 흔ền 모델 자체의 고유한 특성이나 고정된 정책 결정으로 오인되기 쉬우며, 이로 인해 해당 프롬프트는 이의를 제기하거나 감사할 수 없는 상태가 된다. 이러한 투명성의 결여는 공공 기관이 국지적인 가치 트레이드오프를 관리하거나, 특정 배포 구성에 대해 이해관계자에게 책임을 묻는 것을 방해한다.

2. 제안된 해결책: 프롬프트 커먼즈(Prompt Commons)

저자들은 프롬프트 템플릿을 커뮤니티가 관리하는 저장소에서 유지 관리되는 "거버넌스 대상 산출물(governed artefacts)"로 취급하는 거버넌스 프레임워크인 프롬프트 커먼즈를 제안한다. 이 접근 방식은 디지털 커먼즈 거버넌스(Ostrom, 1990)의 원칙과 오픈 소스 관행을 프롬프트 계층에 적용한다.

핵심 설계 요소

• 저장소 구조: 프롬프트는 버전 식별자와 함께 평문 텍는 형태로 저장된다. 각 항목에는 출처 메타데이터(작성자 그룹, 로케일, 의도된 가치 주장, 동의 수준)와 감사 가능한 변경 로그가 포함된다.
• 거버넌스 상태: 프레임워크는 프롬프트 릴리스에 대해 세 가지 강제 가능한 상태를 정의한다:
  1. 개방형(Open): 인증된 기여자는 누구나 프롬프트를 제안할 수 있으며, 모더레이션은 스팸 및 안전 점검에 국한된다.
  2. 큐레이션형(Curated): 병합(merge)을 위해서는 유지 관리자의 검토, 메타데이터 완결성, 그리고 포용성 제약 조건(예: 인구 통계학적 그룹 간 최소 커버리지) 준수가 필요하다.
  3. 거부 가능형(Veto-Enabled): 대표성을 가진 조직은 프롬프트를 유해한 것으로 표시할 수 있으며, 이는 타임박스(time-boxed) 검토 및 해결(수락, 수정 또는 거부)이 기록될 때까지 릴리스를 차단하는 "격리(quarantine)" 메커니즘을 트리거한다.
• 협상 중심의 집계(Negotiation-Oriented Aggregation): 의견 불일치를 단일 프롬프트로 축소하는 대신, 시스템은 프롬프트를 이해관계자의 제안으로 취급한다. 명시적인 집계 프롬프트는 모델이 공유된 가정을 식별하고, 의견 불일치를 표면화하며, 타협안이나 순위가 매겨진 대안을 제안하도록 지시한다.
• 라이선싱: 프롬프트는 재사용, 출처 표기 및 파생 저작물 관리를 규정하기 위해 라이선스(예: Creative Commons 또는 OpenRAIL)의 적용을 받는다.

3. 방법론: 파일럿 테스트베드

이 프레임워크의 실현 가능성을 입증하기 위해, 저자들은 장애인 권익 단체, 이민자 지원, 노인 복지, LGBTQ+ 단체 등 북미 대도시의 커뮤니티 파트너들이 참여하는 파일럿 연구를 수행하였다.

• 데이터 수집: 참가자들은 도시 경관과 가치를 묘사하는 443개의 인간 프롬프트를 작성하였다. 이는 중복 제거, 가치 보존형 패러프레이징, 시나리오 확장을 통해 3,317개의 프롬프트로 증강되었다.
• 실험 설정: 연구에는 고정된 인스트럭션 튜닝 채팅 LLM(temperature 0, top-p 1)과 거리 경관 및 공공 공간의 트레이드오프를 다루는 50개의 비네트(vignettes) 벤치마크가 사용되었다.
• 비교 방법: 다섯 가지 방법이 평가되었다:
  • M0: 단일 저자 베이스라인 프롬프트.
  • M1: 오픈 커먼즈에서 샘플링된 프롬프트.
  • M2: 큐레이션된 커먼즈(포용성 제약 조건 포함)에서 샘플링된 프롬프트.
  • M3: 거부 및 격리 메커니즘이 적용된 큐레이션된 프롬프트.
  • M4: 저자 그룹별로 층화된 6개의 프로프트를 샘플링하고, 버전화된 지침을 통해 타협안을 제안하도록 집계하는 협상 중심의 앙상블 샘플링.
• 측정 지표:
  • 출력 분포: "차량 통행량(vehicle-throughput)", "능동적 교통(active-transport)", "혼합/타협(mixed/compromise)" 레이블의 비율.
  • 하위 그룹 만족도: 6개 인구 통계 그룹에 걸친 12명의 평가자가 수행한 블라인드 평가(1~7 척도).
  • 운영 안전성: 다양한 거버넌스 워크플로우 하에서의 합성 유해 출력에 대한 조치 소요 시간(time-to-remediation).

4. 주요 결과

파일럿 결과는 일반화 가능한 인과적 주장이 아니라, 거버넌스 선택의 잠재적 효과를 설명하기 위한 기술 통계로 제시되었다.

• 출력 분포: 단일 저자 베이스라인(M0)은 24%의 "혼합 또는 타협" 출력을 생성했다. 커먼즈 상태(M1–M3) 전반에 걸쳐 이 비율은 48–52%로 증가했으며, 이는 프롬프트 거버넌스가 고정된 모델과 입력값 하에서도 관찰 가능한 출력 분포를 변화시킬 수 있음을 나타낸다.
• 하위 그룹 만족도: 평균 수용도 점수는 4.35(M0)에서 4.92(M2) 및 5.48(M3)로 증가했다. 그룹 간 만족도의 분산(지니 계수)은 0.096에서 0.043으로 감소하였으며, 이는 큐레이션 및 거부 가능 거버넌스 하에서 더욱 형평성 있는 결과가 나타남을 시사한다.
• 운영 효율성: 합성 사고 로그에서, 거버넌스가 강화됨에 따라 평균 조치 소요 시간이 크게 감소했다: 30.5시간(Open)에서 11.8시간(Curated), 그리고 5.6시간(Veto-enabled)으로 줄어들었다.

5. 의의 및 주장

본 논문은 프롬프트 커먼즈를 공공 부문 AI 거버넌스의 필수적인 진화로 규정하며, 프롬프트가 버전 관리, 라이선싱 및 책임 추적이 필요한 별도의 "거버넌스 표면(governance surface)"을 구성한다고 주장한다.

• 반증 가능한 예측: 저자들은 세 가지 구체적이고 테스트 가능한 주장을 제시한다:
  1. 거버넌스가 적용된 프롬프트 릴리스는 고정된 모델과 입력값 하에서 관찰 가능한 출력 분포를 변화시킬 것이다.
  2. 거버넌스 절차는 조치 소요 시간과 같은 운영 지표를 변화시킬 것이다.
  3. 출력물을 특정 프롬프트 버전으로 추적할 수 있는 능력을 통해 감사 가능성이 향상될 것이다.
• 절차적 투명성: 본 연구의 주요 기여는 특정 알고리즘의 개선이 아니라 절차적 전환이다. 프롬프트 간의 이견을 기록된 근거를 가진 경쟁적 제안으로 명확히 함으로써, 이 프레임워크는 가치 프레임워크가 암묵적이거나 숨겨진 상태로 남지 않고 협상을 가능하게 한다.
• 상호 운용성: 이 프레임워크는 모델 레벨의 거버넌스(예: Model Cards, 정렬)와 상호 운용되도록 설계되었으며, 프롬프트 구성을 공공 기관이 모델 가중치와 독립적으로 관리할 수 있는 추가적인 제어 계층으로 취급한다.

6. 한계 및 겸허함

저자들은 본 파일럿 연구가 일반적인 효과를 주장하는 것이 아니라 "예시적이고 반증 가능한 테스트베드"임을 명시적으로 밝힌다. 본 연구의 한계는 다음과 같다:

• API를 통해 접속한 단일 모델 사용.
• 작은 규모의 벤치마크 (N=50 vignettes).
• 특정 모집 환경에 국한된 제한된 평가자 풀.
• 안전 테스트를 위한 합성 사고 로그 사용.

본 논문은 만약 거버넌스된 프롬프트 컬렉션이 현재의 관행에 비해 감사 가능성, 논쟁 가능성 또는 사고 대응 성능을 개선하지 못하거나, 혹은 완화되지 않은 새로운 해악을 초래한다면, 제안된 입장이 무효화될 수 있음을 결론짓는다. 목표는 문제를 해결했다고 선언하는 것이 아니라, 프롬프트 계층 거버넌스에 대한 연구 의제를 설정하는 것이다.