기술 요약: 대규모 프롬프트 설계 (Prompt Design at Scale)

문제 정의

대규모 언어 모델(LLM) 시스템을 설계하는 실무자들은 현재 통제된 근거 없이 세 가지 결정적인 결정을 내리고 있다: 지시사항과 컨텍스트를 어떻게 구성할 것인가(마크다운, 일반 텍스트, 산문 또는 표), 시스템이 성능 저하 없이 동시에 처리할 수 있는 지시사항의 개수는 몇 개인가, 그리고 모델이 회상(recall)과 정직성(honesty)을 유지할 수 있는 컨텍스트의 양은 어느 정도인가. 기존 문헌은 이러한 요소들을 분리하여 연구한다. 즉, 형식을 변화시키면서 규모를 고정하거나, 규모(지시사항 개수 또는 컨텍스트 길이)를 변화시키면서 형식을 고정하는 방식이다. 본 논문은 형식을 규모와 분리하여 평가할 수 없다고 주장한다. 낮은 규모에서는 잘 작동하는 형식이 높은 규모에서는 처참하게 실패할 수 있으며, 그 반대의 경우도 마찬가지이기 때문이다.

방법론

저자들은 단일한 오염 없는 합성 코퍼스인 "Veyra의 서(Book of Veyra)"를 사용하여 두 가지 통제된 실험을 수행하였다. 이 코퍼스는 고정된 시드(seed)로부터 결정론적으로 생성되었으며, LLM의 개입 없이 생성되어 사전 학습 데이터 유출(pre-training leakage)이 없다.

코퍼스와 렌더링:
기저의 사실들은 네 가지 서로 다른 형식으로 렌더링되었으며, 모든 버전에서 바이트 단위로 동일한 내용을 유지하였다:

1. 마크다운(Markdown): 헤더와 굵은 글씨의 키-값 불렛(key-value bullets).
2. 일반 텍스트(Plain Text): 모든 마크업을 제거한 동일한 내용.
3. 산문(Prose): 흐르는 듯한 서사적 문장.
4. 표(Table): 마크다운 키-값 표.

실험 1: 지시 이행 저하 (Instruction-Following Decay)

• 설계: 모델들에게 $N$개의 동시적이고 프로그램적으로 검증 가능한 규칙을 준수하며 에세이를 작성하도록 과제를 부여하였다 (여기서 $N \in \{10, 20, 40, 80, 120, 160\}$).
• 변수: 규칙 블록은 네 가지 형식으로 렌더링되었으며, 시스템 프롬프트 또는 사용자 턴(user turn) 중 한 곳에 배치되었다.
• 모델: 두 가지 역량 계층과 세 가지 제품군에 걸친 5개의 모델(Claude Sonnet 5, Claude Haiku, Gemini Flash, Qwen 27B, Qwen 35B)을 사용하였다.
• 지표: 완벽한 응답률 (모든 규칙을 충족함).

실험 2: 컨텍스트 사다리에 따른 환각 (Hallucination Across the Context Ladder)

• 설계: Veyra의 서를 2k에서 512k 토큰까지의 컨텍스트 사다리로 분할하였다.
• 프로브(Probes): 각 단계에서 세 가지 유형의 프로브를 테스트하였다:
  1. 회상(Recall): 추측할 수 없는 특정 사실을 검색.
  2. 거짓 전제(False-Premise): 명시된 거짓 사실에 동의하는지 테스트 (아첨/사카이언시).
  3. 부재 사실(Absent-Fact): 언급되지 않은 사실을 조작하는지 테스트.
• 지표: 회상 정확도, 사카이언시 비율, 조작 비율, 거절률.

주요 기여

1. 결합된 저하 및 배치 분석: 논문은 지시사항 개수 저하 곡선을 형식 및 프롬프트 배치(시스템 vs 사용자 턴)와 교차 분석하였다. 그 결과, 배치의 효과가 형식의 효과와 맞먹거나 이를 상회하며, 그 방향성은 모델마다 다름을 발견하였다.
2. 4가지 형식, 롱 컨텍스트 팩토리얼: 단일 코퍼스 상에서 2k–512k 토큰 사다리에 걸쳐 회상, 사카이언시, 조작을 네 가지 형식으로 공동 측정하였으며, 이는 이전에 탐구되지 않은 조합이다.
3. 구조 대 구문 분해: 리스트 구조의 마크다운, 표, 비구조적 일반 텍스트, 산문을 통해 내용이 동일함을 유지함으로써, "구조"가 일반적으로 도움이 되는지 아니면 "표 형식의 구조"가 구체적인 활성 성분인지를 격리하여 분석하였다.
4. 토큰 오버헤드를 조정한 정확도: 저자들은 형식의 정확도 이점이 토큰 비용 오버헤드(구조화된 형식이 22%~37% 더 높음)를 고려했을 때 항상 유지되는 것은 아님을 입증하였다.
5. VeyraBench: 바이트 단위로 동일한 재현을 가능하게 하는 전체 벤치마크 하네스, 코퍼스 생성기, 그리고 가공되지 않은 결과물을 공개한다.

주요 결과

지시 이행 (실험 1)

• 저하 하한선 (The Decay Floor): 모든 모델, 형식, 배치에서 완벽 응답률은 $N=80$에서 0으로 급락한다. 이 "하한 효과(floor effect)"는 형식과 무관하다.
• 보편적인 승자 없음: 어떤 모델도 마크다운을 일관되게 선호하지 않았다. 한 모델(Qwen 35B)은 높은 지시사항 개수에서 마크다운보다 일반 텍스트를 확실히 선호했다.
• 배치의 중요성: 규칙 블록을 시스템 프롬프트에서 사용자 턴으로 옮기는 것은 다섯 모델 중 네 모델에서 이행도를 유의미하게 변화시켰다 (최대 8.7 퍼센트 포인트). 효과의 방향은 모델별로 달랐다 (어떤 모델에는 도움이 되고, 어떤 모델에는 해가 됨).
• 모델 특이적 붕괴: Gemini Flash는 $N \ge 40$에서 산문 및 표 형식에 대해 급격하고 모델 특이적인 성능 붕괴를 보였는데, 이는 모델이 에세이 대신 내부 검증 텍스트를 출력하는 "숨겨진 추론 누출(hidden-reasoning-leakage)" 실패 모드와 연관되었다.

롱 컨텍스트 환각 (실험 2)

• 회상 정확도: 회상은 64k–128k 토큰까지는 천장 근처(0.98–1.00)를 유지했으나, 이후 급격히 저하되었다. 저하는 형식에 따라 달랐으며, 절대적 토큰 수보다는 모델의 유효 컨텍스트 한계점과의 근접성을 추적했다.
• 보편적 순위 없음: "구조가 도움이 된다"거나 "표가 도움이 된다"는 가설은 성립하지 않았다. 여러 고부하 셀(cell)에서 산문이 가장 좋은 성능을 보였고, 일반 텍스트는 다른 곳에서 최악의 성능을 보였다. 형식의 순위는 모델과 컨텍스트 길이에 따라 뒤바뀌었다.
• 조작 및 사카이언시에 대한 무효 결과:
  • 조작(Fabrication): 5,760개의 부재 사실 프로브 중 조작이 발생한 사례는 0건이었다.
  • 사카이언시(Sycophancy): 거짓 전제에 대한 동의는 전체 과정 동안 미미하게 유지되었다 ($\le 8.3\%$).
• 거절의 증가: 컨텍스트 한계 근처에서의 주요 실패 모드는 환각이 아니라 명시적인 답변 거부였다. 컨텍스트 길이가 증가함에 따라 거절률이 급격히 상승했으며 (Claude Haiku의 경우 한계점에서 최대 89.6%), 이는 사카이언시나 조작과는 구별되는 독특한 실패 모드이다.
• 비용 조정 정확도: 원시 정확도가 크게 달랐던 경우, 구조화된 형식의 토큰 오버헤드(예: 일반 텍ok스트 대비 1.367배의 비용이 드는 표)가 순위를 역전시켜, 일반 텍스트나 산문이 더 효율적인 선택이 되는 경우가 많았다.

의의 및 주장

본 논문은 형식을 독립적으로 최적화할 수 있다는 기존의 가정이 잘못되었다고 주장한다. 핵심적인 발견은 형식의 효과나 그 부호(sign)는 규모를 고려하지 않고서는 예측할 수 없다는 것이다.

• 규모 의존성: 형식의 성능은 지시사항 개수 및 컨텍스트 길이와 불가분하게 연결되어 있다. 10개의 지시사항에 대한 "베스트 프랙티스"가 100개의 경우에는 실패 모드가 될 수 있다.
• 환각보다 거절: 모델이 컨텍스트 한계에 도달하면, 지배적인 실패 모드는 잘못된 정보를 생성하는 것(환각/사카이언시)에서 답변을 거부하는 것으로 변한다. 잘못된 답만을 모니터링하는 시스템은 이 중요한 성능 저하를 놓칠 수 있다.
• 모델 특이성: 보편적인 "최적의" 형식이나 배치는 존재하지 않는다. 효과는 매우 모델 특이적이다. 한 모델에 적합한 구성이 다른 모델에서는 성능을 저하시킬 수 있다.
• 실무적 시사점: 실무자들은 경험적 테스트 없이 마크다운이나 특정 형식을 기본값으로 채택해서는 안 된다. 또한, 지시사항 개수가 약 40개를 초과할 경우, 해결책은 프롬프트 엔지니어링(재구성)이 아니라 구조적 접근(작업 분할)일 가능성이 높다.

저자들은 최적의 프롬프트 형식에 대한 주장은 그것이 측정된 규모(지시사항 개수 또는 컨텍스트 길이)를 반드시 명시해야 의미가 있다고 결론짓는다. 본 논문은 모델이 진화함에 따라 커뮤니티가 이러한 임계치를 재측정할 수 있도록 VeyraBench를 제공한다.