🤖 AI

TAPR: Enhancing LLM Performance with a Task-Aware Prompt Rewriter

이 논문은 사용자 입력을 최적화된 프롬프트로 재구성하여 질문 답변 및 산술 추론과 같은 작업에서 다운스트림 LLM의 성능을 크게 향상시키는, 그룹 상대 정책 최적화(Group Relative Policy Optimization)를 통해 학습된 태스크 인지형 프롬프트 재작성기인 TAPR을 소개한다.

원저자: Oliver Savolainen, Emanuele Bastianelli, Hosein Azarbonyad

게시일 2026-08-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Oliver Savolainen, Emanuele Bastianelli, Hosein Azarbonyad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 세상의 거의 모든 것을 알고 있는 초지능 로봇과 대화하려고 한다고 상상해 보세요. 이 로봇은 거대 언어 모델(LLM)이라고 불립니다. 마치 세상에 쓰인 모든 책을 읽은 천재 사서와 같지만, 아주 독특한 성격이 있습니다. 바로 당신이 매우 구체적이고 완벽한 방식으로 질문할 때만 최상의 성능을 발휘한다는 점입니다. 만약 당신이 "우주에 대해 알려줘"와 같이 모호한 질문을 던진다면, 로봇은 지루하고 일반적인 답변을 내놓을 수도 있습니다. 하지만 만약 당신이 "베이킹에 관한 비유를 사용하여 10살 아이에게 별의 일생을 설명해줘"라고 질문한다면, 로봇은 자신의 잠재력을 완전히 깨워 마법 같은 답변을 들려줄 것입니다.

문제는 그 완벽한 질문을 찾아내는 것이 어렵다는 것입니다. 이는 라디오 주파수를 맞춰 선명한 채널을 찾는 것과 같습니다. 다이얼을 아주 조금만 잘못 돌려도 소리가 아닌 잡음만 들리게 됩니다. 대부분의 사람들은 "프롬프트 엔지니어링"(AI를 위한 완벽한 지침을 작성하는 기술)의 전문가가 아니기 때문에, 종종 잡음에 가로막히곤 합니다. 과학자들은 당신의 질문을 자동으로 수정하여, 거칠고 엉망인 요청을 로봇이 사랑하는 완벽하고 세련된 지침으로 바꿔줄 도우미를 만들기 위해 노력해 왔습니다. 이 논문은 바로 그 과제, 즉 작은 AI가 우리의 커다란 AI 친구들이 더 잘 수행할 수 있도록 만드는 "프롬프트 편집기"가 될 수 있는지에 대한 연구를 다룹니다.

TAPR를 만나보세요: 당신의 질문을 해킹하는 AI 편집기

이 논문에서 저자들은 TAPR(Task-Aware Prompt Rewriter)이라는 새로운 도구를 소개합니다. TAPR를 거대한 AI와 당신 사이에 앉아 있는 작고 전문적인 편집기라고 생각해보세요. 당신이 질문을 입력하면, TAPR는 단순히 전달만 하는 것이 아니라 먼저 질문을 재작성합니다. TAPR는 당신의 단순한 "질문에 답해줘"라는 문장을 가져와서, 큰 AI에게 어떻게 생각해야 하는지, 어떤 형식을 사용해야 하는지, 무엇을 피해야 하는지를 정확하게 알려주는 상세하고 매우 명확한 지침으로 변환합니다.

그렇다면 TAPR는 어떻게 그렇게 훌륭한 편집자가 되는 법을 배웠을까요? 저자들은 단순히 예시를 보여주는 방식으로 가르치지 않았습니다. 대신, 그들은 **강화 학습(Reinforcement Learning)**이라는 방법을 사용했는데, 이는 마치 간식으로 강아지를 훈련시키는 것과 같습니다. 훈련 루프는 다음과 같이 작동합니다:

재작성(The Rewrite): TAPR가 당신의 원래 질문을 가져와 재작성합니다.
테스트(The Test): 큰 AI(이하 "Task LLM")가 재작성된 질문에 답하려고 시도합니다.
판사(The Judge): 특별한 "판사 AI"가 답변과 재작성된 질문을 살펴보고 결정합니다: "이 새로운 질문이 큰 AI가 정답을 얻는 데 도움이 되었는가? 질문 자체가 명확하고 잘 작성되었는가?"
보상(The Reward): 만약 판사가 "잘했어!"라고 말한다면, TAPR는 디지털 간식(보상)을 받습니다. 만약 답변이 틀렸거나 질문이 혼란스러웠다면, TAPR는 간식을 받지 못합니다.

시간이 흐르면서 TAPR는 그 간식을 얻고 싶기 때문에 점점 더 좋은 질문을 쓰는 법을 배웁니다. 저자들은 GRPO(Group Relative Policy Optimization)라는 특정 훈련 기법을 사용했는데, 이는 기존의 PPO 방식보다 훨씬 더 안정적이고 효과적이라는 것을 발견했습니다.

무엇을 발견했나요?

연구팀은 TAPR를 세 가지 매우 다른 유형의 작업에 대해 테스트했습니다:

질의응답(Question Answering): "미국 최초의 대통령은 누구인가?"와 같은 질문.
요약(Summarization): 긴 뉴스 기사를 요약해달라고 AI에게 요청하는 것.
수학적 추론(Math Reasoning): 설탕과 물을 섞는 복잡한 문장제 문제를 푸는 것.

결과는 유망했지만, 모든 상황에 적용되는 마법 지팡이는 아니었습니다.

좋은 소식: TAPR(특히 Phi-4-mini-instruct 모델 기반 버전)이 훈련되었을 때, 큰 AI의 성능을 일관되게 향상시켰습니다. 예를 들어, 수학 테스트인 GSM8K에서 정확도는 (훈련되지 않은 기본 모델을 사용하여 재작성했을 때의) 낮은 **11.91%**에서 TAPR 훈련 후 **83.60%**로 급증했습니다. 질의응답 테스트인 Natural Questions에서는 정확도가 **48.80%**에서 **59.20%**로 올라갔습니다.
"비법(Secret Sauce)": 저자들은 TAPR가 더 명확하고 구조적이며, 종종 "단계별로 생각하기"(AI에게 "단계별로 생각하라"고 지시하는 것)와 같은 "사고의 사슬(chain-of-thought)" 지침을 포함하는 프롬프트를 작성한다는 것을 발견했습니다. 이는 큰 AI가 문제를 해결하는 데 훨씬 더 똑똑해지도록 만들었습니다.
"판사"의 요소: 그들의 성공의 핵심은 LLM-as-a-Judge(판사로서의 LLM)를 사용하는 것이었습니다. 단순히 답변이 교과서와 단어 하나하나 일치하는지 확인하는 대신(이는 답변이 맞더라도 표현이 다르면 불공정할 수 있습니다), 다른 AI를 사용하여 답변의 품질과 의미를 판단하게 했습니다. 이를 통해 TAPR는 단순히 체크리스트를 통과하는 것처럼 보이는 답변이 아니라, 진정으로 더 나은 답변을 만들어내는 프롬프트를 쓰는 법을 배울 수 있었습니다.

한계: 아직 완벽하지 않습니다

저자들은 이것이 해결된 문제가 아니라는 점을 주의 깊게 밝히고 있습니다.

불일치성: 때때로 TAPR는 상황을 개선하기도 했지만, 결과가 섞여 있거나 심지어 약간 나빠지는 경우도 있었습니다. 예를 들어, 일부 요약 작업에서는 훈련되지 않은 "기본 모델"이 준수한 성능을 보였고, TAPR가 항상 이를 능가하지는 못했습니다.
"선택" 아이디어: 저자들은 TAPR가 다섯 개의 서로 다른 재작성된 질문을 생성한 다음 가장 좋은 것을 고르는 트릭을 시도했습니다. 이것이 가끔은 도움이 되었지만, 일관되게 더 나은 결과를 가져오지는 않았으며 더 많은 컴퓨팅 자원을 소모했습니다. 그들은 TัปR가 글을 쓰도록 훈련받는다고 해서 스스로의 작업물을 더 잘 판단하는 "판사"가 된다는 강력한 증거를 찾지 못했습니다.
비용: TAPR를 훈련하는 데는 시간과 컴퓨팅 자원이 필요합니다. 저자들은 TAPR가 효과적이긴 하지만, 단순하고 일반적인 프롬프트가 충분히 잘 작동하는 경우를 포함하여 모든 작업에 그 추가 비용을 들일 가치가 있는지는 항상 고려해야 한다고 제안합니다.

결론

이 논문은 우리가 작은 AI에게 큰 AI의 성능을 높여주는 프롬프트 편집자가 되는 법을 가르칠 수 있다는 것을 시사합니다. 강화 학습과 스마트한 "판사 AI"를 사용함으로써, TAPR는 모호한 질문을 명확하고 강력한 지침으로 바꾸는 법을 배웠습니다. TAPR가 100%의 확률로 모든 상황에서 작동하는 완벽한 해결책은 아닐지라도, 이는 명확한 경로를 보여줍니다. 만약 우리가 올바른 질문을 던지는 기술을 자동화할 수 있다면, 전문가뿐만 아니라 모두를 위해 AI의 잠재력을 완전히 끌어낼 수 있을 것입니다. 저자들은 이 기술이 실행 가능한 효과적인 기법이지만, 모든 실제 시나리오에서 신뢰할 수 있도록 더 많은 개선이 필요하다고 결론지었습니다.

기술 요약: TAPR – 작업 인식형 프롬프트 재작성기 (Task-Aware Prompt Rewriter)

문제 정의

대규모 언어 모델(LLM)은 상당한 잠재력을 가지고 있지만, 최적의 성능을 달out하기 위해서는 종종 정교하게 설계된 입력 프롬프트가 필요합니다. 이러한 요구 사항은 프롬프트 엔지니어링 전문 지식이 부족한 비전문가 사용자들에게 장벽이 됩니다. 기존의 최적화 방법들은 주로 수동적인 반복 조정에 의존하거나, 표면적인 지표(예: 정확히 일치 여부)에 의존하여 실질적인 유용성을 최적화하지 못하거나 해석 불가능한 프롬프트를 생성하는 자동화된 기술에 의존합니다. 따라서 사용자의 미흡한 쿼리를 명확하고 견고한 지침으로 정제하여 신뢰할 수 있는 다운스트림 작업 성능을 보장할 수 있는 자동화된 시스템이 필요합니다.

방법론

저자들은 LLM을 위한 사용자 프롬프트를 자동으로 정제하고 적응시키기 위해 설계된 프레임워크인 **TAPR (Task-Aware Prompt Rewriter)**를 제안합니다. 이 시스템은 프롬프트를 재작성하는 더 작고 특화된 "TAPR LLM"과, 재작성된 프롬프트를 실행하는 동결된(frozen) 더 큰 "Task LLM"으로 구성됩니다.

훈련 프레임워크

본 방법론의 핵심은 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 TAPR LLM을 훈련하는 것입니다. 훈련 파이프라인은 다음과 같이 작동합니다:

입력: TAPR LLM은 초기 사용자 프롬프트를 받습니다.
재작성: 모델은 수정된 프롬프트를 생성합니다.
실행: 수정된 프롬프트는 동결된 Task LLM에 입력되어 작업 결과물을 생성합니다.
보상 계산: 다음 두 가지 구성 요소를 기반으로 결합된 보상 신호가 계산됩니다:
- 작업 성능 보상 ( $T$ ): 전통적인 정확히 일치(exact match)나 ROUGE와 같은 지표 대신, 저자들은 LLM-as-a-judge 패러다임을 활용합니다. 별도의 판사(judge) 모델이 정답(ground truth) 대비 Task LLM 응답의 의미론적 정확성과 품질을 평가합니다.
- 프롬프트 품질 보상 ( $Q$ ): 전용 보상(LLM 판사가 0~5점으로 채점)은 재작성된 프롬프트 자체를 평가하여, 프롬프트가 엔지니어링 원칙(예: 명확성, 관련성)을 준수하는지, 그리고 원래의 의도를 변경하거나 환각(hallucination)을 유발하지 않는지 확인합니다.
최적화: 결합된 보상 $R = \alpha T + \beta Q$ 는 GRPO를 통해 TAPR 정책을 업데이트하는 데 사용됩니다.

주요 아키텍처 선택 사항

GRPO vs. PPO: 저자들은 근사 정책 최 optimization(PPO) 대신 그룹 상대 정책 최적화(GRPO)를 채택했습니다. GRPO는 샘플링된 궤적(trajectory) 그룹을 기반으로 정책을 업데이트하며, 명시적인 가치 함수(critic)를 필요로 하지 않으며 이 특정 응용 분야에서 더 높은 일관성을 보여줍니다.
프롬프트 선택 메커니즘: 추론 시점에 여러 후보 프로프트를 샘플링(높은 온도로)하고 자신의 판단에 따라 최적의 것을 선택하는 선택적 메커니즘이 있으나, 논문에서는 이것이 일관된 추가 이득을 가져오지는 않는다고 언급했습니다.
평가: 시스템은 질의응답(Natural Questions, HotpotQA), 요약(CNN/Daily Mail, SciTLDR), 산술 추론(GSM8K)을 포함한 다양한 작업에 대해 평가되었습니다.

주요 기여

TAPR 프레임워크: 재작성된 프롬프트의 품질과 다운스트림 작업 성능 모두로부터 얻은 피드백을 사용하여 프롬프트를 최적화하도록 강화 학습으로 훈련된 작업 인식형 프롬프트 재작성기 도입.
LLM-as-a-judge 통합: 작업 출력 평가와 프롬프트 품질 평가 모두에 LLM-as-a-judge 보상을 적용한 참신한 적용. 저자들은 이 접근 방식이 정확히 일치와 같은 검증 가능한 지표에 의존하는 것보다 훈련 안정성과 효과를 개선함을 입증했습니다.
프롬프트 재작성을 위한 GRPO: 프롬프트 재작성 능력을 향상시키기 위해 GRPO를 탐구한 첫 사례로, 특정 PPO 구성에서 관찰되는 모델 붕괴나 보상 정체 현상을 피하고 더 높은 일관성을 달성함을 보여주었습니다.
실증적 검증: TAPR 생성 프로프가 베이스라인 프롬프트 및 (훈련되지 않은) 베이스 모델의 재작성 결과보다 더 높은 정확도와 더 나은 요약 품질을 보임을 보여주는 광범적인 실험 수행.

실험 결과

연구에는 TAPR 모델로 Phi-4-mini-instruct와 LLaMA-3.2-3B-Instruct가, Task LLM으로는 LLaMA-3.1-8B-Instruct가 사용되었습니다.

질의응답 (Question Answering): Natural Questions (NQ) 데이터셋에서 TAPR 변체들은 Base Model 및 Baseline 프롬프트를 유의미하게 능가했습니다. Phi-4-mini-instruct의 경우, 정확도가 48.80%(Base)에서 59.20%(TAPR)로 향상되었습니다. HotpotQA에서도 유사한 이득이 관찰되었습니다.
요약 (Summarization): CNN/Daily Mail 및 SciTLDR에서 TAPR 변체들은 가장 높은 LLM-as-a-judge 점수를 기록했습니다. 특히, SciTLDR에서 Phi-4-mini-instruct TAPR 변체는 베이스라인 프롬프트 대비 최대 84.58%의 승률을 달성했습니다.
산술 추론 (Arithmetic Reasoning): GSM8K에서 Phi-4-mini-instruct의 TAPR 변체는 83.60%의 정확도를 달성하여, "SOLUTION" 프롬프트(82.38%)를 넘어섰으며, 일관된 솔루션을 생성하지 못한 Base Model(11.91%)을 압도했습니다.
절제 연구 (Ablation Studies):
- 프롬프트 품질 보상: 이 보상을 제거하면 훈련 진행이 심각하게 제한되며 모델이 종종 원래 프롬프트에 가깝게 회귀하는데, 이는 해당 보상이 효과적인 재작성을 학습하는 데 필수적임을 나타냅니다.
- GRPO vs. PPO: GRPO는 신뢰할 수 있는 개선을 보여준 반면, PPO 변체들은 (다양한 하이퍼파라미터 설정에서도) 정체된 보상이나 퇴보한 출력을 생성했습니다.
- 지도 미세 조정 (SFT): SFT를 통한 사전 학습은 기본 성능을 향상시켰으나, 강화 학습(RL) 훈련 성과를 높이는 데까지는 이어지지 않았습니다.

의의 및 주장

논문은 TAPR가 특히 작은 모델의 잠재력을 끌어올리기 위한 실질적인 기술로서 자동 프롬프트 재작성의 생존 가능성을 입증한다고 주장합니다. 더 작은 모델이 프롬프트를 재작성하도록 훈련함으로써, 사용자가 프롬프트 엔지니어링 전문 지식을 갖추지 않고도 다운스트림 작업 성능을 높일 수 있습니다.

저자들은 의미론적 정확성과 실제 유용성을 포착하기 위해 LLM-as-a-judge를 활용함으로써 전통적인 평가 지표의 한계를 해결했다고 강조합니다. 그들은 프롬프트 엔지니어링이 여전히 열려 있고 복잡한 문제이지만, 자신들의 방법이 모범 사례와 일치하는 더 명확하고, 지침적이며, 상세한 프롬프트를 일관되게 생성한다고 주장합니다.

그러나 논문은 다음과 같은 한계점에 대해 겸허한 어조를 유지합니다:

불일치성: 개선 효과가 모든 작업과 모델에 걸쳐 균등하지 않습니다. 일부 경우에는 단순한 일반적 프롬프트가 최적화된 재작성 결과와 경쟁할 만한 성능을 보이기도 합니다.
훈련 안정성: 텍text 생성에서의 RL은 본질적으로 불안정하며 하이퍼파라미터에 민민합니다.
비용-편익: 프롬프트 재작성을 통한 이득이 훈련 및 추론에 드는 추가적인 계산 비용을 완전히 상쇄할 만큼 아직 일관적이지 않습니다.
범위: 본 연구는 작은 규모의 비 추론 모델과 특정 벤치마크에 국한되어 있어, 이러한 방법론을 더 큰 모델과 다양한 실제 에이전트 워크플로우에서 검증하기 위한 향후 연구가 필요함을 시사합니다.

결론적으로, 본 연구는 더 작은 모델이 GRPO를 통해 훈련되고 의미론적 보상에 의해 유도될 때, 더 큰 LLM의 성능을 향려하기 위한 프롬프트를 효과적으로 재작성하는 법을 배울 수 있음을 확립하며, 이를 통해 수동 프롬프트 엔지니어링에 대한 의존도를 낮출 수 있는 경로를 제시합니다.