What You Prompt is What You Get: Increasing Transparency of Prompting Using Prompt Cards

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 급속한 발전과 함께 '프롬프트 엔지니어링 (Prompt Engineering)'이 중요한 분야로 부상했으나, 다음과 같은 심각한 문제들이 존재합니다:

• 표준화된 문서화 및 평가 부재: 프롬프트는 길고 복잡하며, 주관적인 작업에서 평가하기 어렵습니다. 현재 프롬프트 엔지니어링 관행에 대한 표준화된 문서화나 평가 체계가 없습니다.
• 재현성 (Reproducibility) 의 어려움: LLM 의 출력은 프롬프트의 문구, 순서, 맥락 구조에 매우 민감하게 반응합니다. 동일한 모델이라도 약간의 프롬프트 변경이나 무작위성 (sampling) 으로 인해 결과가 달라질 수 있어, 실험 결과의 재현이 어렵습니다.
• 편향과 할루시네이션: AI 시스템이 사회적 편향을 재생산하거나 사실과 다른 정보 (할루시네이션) 를 생성할 위험이 있으며, 의료나 법률 등 고위험 분야에서 치명적인 결과를 초래할 수 있습니다.
• 벤치마크의 한계: 기존 모델 평가용 벤치마크는 프롬프트 엔지니어링에 적합하지 않습니다. 벤치마크 프롬프트나 평가 프로토콜의 미세한 변경이 결과를 극적으로 바꿀 수 있으며, 모든 작업에 표준화된 벤치마크를 적용하는 것은 불가능하거나 비효율적입니다.

2. 방법론 (Methodology)

저자들은 **모델 카드 (Model Cards)**의 개념을 차용하여 **프롬프트 카드 (Prompt Cards)**라는 새로운 문서화 프레임워크를 제안합니다. 이는 프롬프트 엔지니어링 과정을 체계적으로 기록하고 평가하기 위한 구조화된 요약서입니다.

프롬프트 카드의 핵심 구성 요소:
표 1 에 제시된 바와 같이, 프롬프트 카드는 기존 모델 카드와 유사하지만 프롬프트 특유의 요소를 강조합니다.

1. 모델 상세 정보 (Model Details): 사용된 LLM 의 버전, 라이선스, 학습 알고리즘, 파라미터 등을 명시하여 버전 차이로 인한 출력 변동을 통제합니다.
2. 의도된 사용 (Intended Use): 모델이 수행하도록 설계된 특정 작업, 배포 맥락, 그리고 사용 시 고려해야 할 가정과 한계를 명시합니다.
3. 데이터셋 (Dataset): 프롬프트에 사용된 데이터의 출처, 구성, 편향 가능성 등을 상세히 기록합니다. (예: 데이터가 어떻게 생성되었는지, 어떤 샘플이 포함되었는지).
4. 맥락 (Context): 프롬프트에 포함된 시스템 프롬프트, 외부 정보 (웹페이지, 문서), 퓨샷 (few-shot) 예시, 검색 증강 생성 (RAG) 의 세부 사항 등을 문서화합니다. 이는 LLM 의 할루시네이션을 줄이고 성능을 높이는 데 필수적입니다.
5. 프롬프트 아키텍처 (Prompt Architecture): 프롬프트의 전체 구조, 구성 요소, 역할, 그리고 어떻게 조립되는지를 시각적 다이어그램이나 설명으로 제공합니다.
6. 요인 (Factors): 데이터셋이 다루는 인구 통계학적 그룹, 환경 조건 등을 기록하여 잠재적 편향을 드러냅니다.
7. 정량적 분석 (Quantitative Analysis): 전통적인 모델 평가 (정확도, AUC 등) 대신, 프롬프트의 특정 가설을 검증하는 데 초점을 맞춥니다. (예: 생성된 텍스트가 원본 데이터를 얼마나 충실히 전달하는지 'LLM-as-judge' 방식을 통해 평가).
8. 데이터 보안 (Data Security): 인터넷 접근 여부, 오프라인 적응성, 민감 정보 (개인정보, 의료 기록 등) 처리 방식을 명시하여 프라이버시 리스크를 관리합니다.
9. 윤리적 고려사항 (Ethical Considerations): 편향, 대표성 해악, 문화적 차이, 자동화된 의사결정의 위험성 등을 명시합니다.
10. 주의사항 및 권장사항 (Caveats & Recommendations): 방법론의 한계, 불확실성, 그리고 책임 있는 사용을 위한 실용적 가이드를 제공합니다.

구현 사례:
이론을 입증하기 위해 'Wordalisation' (구조화된 수치 데이터를 텍스트로 변환하는 작업) 라는 특정 태스크에 프롬프트 카드를 적용했습니다. 축구 스카우팅, 세계 가치 조사 (World Value Survey), 성격 테스트 등 3 가지 구체적인 애플리케이션을 통해 프롬프트 카드의 실용성을 시연했습니다.

3. 주요 기여 (Key Contributions)

• 프롬프트 엔지니어링의 투명성 제고: 프롬프트 카드 도입을 통해 프롬프트 엔지니어링과 관련된 모든 과정 (목표, 고려사항, 단계) 을 체계적으로 문서화하여 투명성을 확보했습니다.
• 재현성 및 평가 방법론 개선: 벤치마크에 의존하지 않고, 프롬프트 카드 내의 상세한 맥락과 평가 데이터를 통해 프롬프트의 품질을 판단하고 재현성을 높이는 효과적인 대안을 제시했습니다.
• 암묵적 설계 결정의 명시화: 모델의 행동에 영향을 미치는 종종 암묵적으로 남아있던 설계 결정 (프롬프트 의도, 맥락화 전략, 윤리적 고려사항 등) 을 명시적으로 드러냄으로써 시스템의 동작 원리를 이해하기 쉽게 만들었습니다.
• 복잡한 파이프라인 관리: 프롬프트 엔지니어링이 여러 구성 요소로 이루어진 복잡한 파이프라인이 되어가는 상황에서, 각 구성 요소의 상호작용과 영향을 추적할 수 있는 도구를 제공했습니다.

4. 결과 및 검증 (Results & Evaluation)

• Wordalisation 적용 결과: 제안된 프롬프트 카드 방식을 축구 스카우팅, 성격 테스트, 세계 가치 조사 애플리케이션에 적용하여 성공적으로 구현했습니다.
• 정량적 평가: 'LLM-as-judge' 방식을 사용하여 생성된 텍스트가 원본 데이터를 얼마나 정확하게 재구성하는지 평가했습니다. 예를 들어, 세계 가치 조사 데이터에서 생성된 텍스트를 다시 분석하여 원래의 범주 (class) 를 얼마나 잘 복원하는지 측정했습니다.
• 평가의 한계 인정: 정량적 지표가 모든 것을 설명할 수는 없음을 인정하며, 인간 평가 (유창성, 톤, 문화적 적절성 등) 와 정성적 피드백을 보완적으로 활용해야 함을 강조했습니다.
• 보안 및 윤리: 데이터 보안 섹션을 통해 민감한 정보를 프롬프트에 직접 넣지 않고 요약된 형태로 전달하는 등의 보안 조치를 문서화했습니다.

5. 의의 및 시사점 (Significance)

• 벤치마크 중심 패러다임의 전환: 모든 작업을 표준화된 벤치마크로 평가하려는 시도가 비현실적이며, 오히려 투명하고 책임 있는 문서화 (프롬프트 카드) 가 더 중요하다는 점을 주장합니다. 이는 데이터 저널리즘의 접근 방식과 유사합니다.
• 규제 및 거버넌스 대응: EU AI 법, 미국 AI 법 등 강화되는 AI 규제 환경에서, 프롬프트 카드는 시스템의 투명성과 위험 거버넌스를 위한 필수적인 문서화 도구로 작용할 수 있습니다.
• 책임 있는 AI 개발: 프롬프트 카드는 개발자와 사용자가 모델의 한계, 편향, 윤리적 위험을 명확히 인지하고, 이를 바탕으로 더 책임 있는 의사결정을 내릴 수 있도록 돕습니다.
• 미래 지향성: 복잡한 LLM 파이프라인과 에이전트 시스템이 발전함에 따라, 프롬프트 수준의 문서화가 시스템의 신뢰성과 재현성을 보장하는 핵심 요소가 될 것입니다.

결론적으로, 이 논문은 프롬프트 엔지니어링이 단순한 기술적 트릭을 넘어 체계적인 공학적 실천이 되어야 함을 강조하며, 이를 위한 구체적인 도구인 '프롬프트 카드'를 제안하여 AI 시스템의 투명성, 재현성, 그리고 윤리적 사용을 증진시키고자 합니다.