기술 요약: 지저분한 텍스트에서 점수를 추출하기 위한 LLM 프롬프트 설계

문제 정의

본 논문은 자연어 처리(NLP)의 특정 과제, 즉 비정형화된 "지저분한" 텍스트 보고서로부터 정확한 수치적 연구 품질 점수를 추출하기 위한 거대언어모델(LLM)용 프롬프트를 설계하는 문제를 다룹니다. LLM은 텍스트 평가(예: 에세이 채점 또는 연구 품질 평가)를 생성하는 데 자주 사용되지만, 그 출력값은 일관되지 않은 경우가 많습니다. LLM은 점수를 광범위한 설명 속에 포함시키거나, 점수를 누락하거나, 잘못된 형식(예: 백분율 또는 비표준 척도)을 제공하거나, 엄격한 출력 제약을 따르지 못할 수 있습니다.

구체적인 작업은 영국 연구 우수성 프레임워크(REF) 척도(1* ~ 4*)를 기준으로 학술지 논문을 평가하는 LLM이 생성한 보고서를 처리하는 것입니다. 핵심적인 어려움은 두 가지 요구사항을 동시에 충족해야 한다는 점에 있습니다:

1. 추출 정확도: 전체 점수를 정확히 식별하거나, 전체 점수가 없는 경우 구성 요소 점수(독창성, 유의성, 엄밀성)의 평균을 계산해야 합니다.
2. 출력 제약: LLM이 설명 텍스트, 구두점 오류, 또는 형식적 편차 없이 오직 수치 점수(및 선택적인 별표) 또는 특정 결측치 코드(-1)만을 반환하도록 보장해야 합니다.

방법론

본 연구는 이 문제를 연구하기 위해 공유 데이터셋과 구조화된 챌린지를 도입합니다.

데이터셋 구축

데이터셋은 세 가지 중간 규모 LLM인 Magistral, Llama 4 Scout, Gemma3 27b가 생성한 보고서에서 유래한 1,446개의 짧은 텍스트로 구성됩니다. 이 모델들은 제목과 초록을 바탕으로 학술지 논문의 점수를 매기는 작업을 수행했습니다.

• 소스 필터링: 프로세스는 수십만 개의 원시 응답에서 시작되었습니다. 각 모델의 출력 내에서 중복 제거를 먼저 수행한 후, 모델 간 중복 제거를 진행했습니다.
• 수동 큐레이션: 난이도와 다양성을 극대화하기 위해, 남은 대규모 세트를 엑셀(Excel)을 통해 수동으로 필터링했습니다. 유사한 보고서들을 제거하여 최종 세트에는 점수 누락, 잘못된 점수, 모호한 형식을 포함한 다양한 스타일의 텍스트가 포함되도록 했습니다.
• 골드 스탠다드(Gold Standard): 인간 전문가(저자)가 각 텍스트에 대한 정답 점수를 수동으로 판정했습니다. 이 "골드 스탠다드"에는 특정 점수(1*–4*) 또는 점수가 불분명하거나 누락된 경우의 -1이 포함됩니다. 세 가지 구성 요소 점수는 존재하지만 전체 점수가 없는 경우, 평균값을 계산하여 골드 스탠다드로 삼았습니다.

챌린지 과제

참가자들은 1,446개의 텍스트를 처리하기 위한 LLM 프롬프트를 설계해야 합니다. 출력은 반드시 다음의 특정 형식을 엄격히 준-수해야 합니다:

• 유효한 출력: 숫자(정수 또는 실수)와 선택적인 별표(예: 3*, 2.667, 4 *) 또는 코드 -1.
• 유효하지 않은 출력: 숫자, 공백, 별표, 또는 마이너스 기호 이외의 문자가 포함된 모든 응답(예: "Score: 3*", "World-leading", 또는 "3* because...").
• 채점 로직: 시스템은 보고된 전체 점수가 있으면 해당 점수를 반환해야 합니다. 만약 전체 점수가 없다면, 독창성, 유의성, 엄밀성 점수가 모두 존재하는 경우 그 평균을 반환해야 합니다. 텍스트에 명확한 점수가 없거나 잘못된 데이터를 포함하고 있다면 -1을 반환해야 합니다.

평가

논문은 API를 통한 ChatGPT 4.1-mini를 사용하는 특정 프롬프트 기반의 베이스라인 솔루션을 제공합니다. 결과는 LLM의 출력을 골드 스탠다드와 비교하여 평가하며, 이때 작은 반올림 허용 오차(정확한 값의 0.005 이내)를 허용합니다.

주요 결과

베이스라인 실험 결과는 다음과 같습니다:

• 총 항목 수: 1,446개
• 정답 개수: 1,050개
• 정확도: 72.61%

논문은 베이스라인 프롬프트가 주로 두 가지 방식으로 실패한다고 언급합니다:

1. 형식 위반: 모델이 설명 텍스트나 잘못된 기호를 포함함.
2. 추출 오류: 모델이 구성 요소 점수의 평균을 구하는 데 실패하거나, 잘못된 척도(예: 5점 척도를 유효한 것으로 취급)를 잘못 해석함.

의의 및 기여

본 논문은 정보 과학 및 NLP 분야에 세 가지 주요 기여를 합니다:

1. 공유 자원: 검증된 골드 스탠더드가 포함된 큐레이션된 "지저분한" 연구 품질 보고서 1,446개를 제공함으로써, 데이터셋 생성의 부담 없이 서로 다른 프롬프트 엔지니어링 전략 간의 직접적인 성능 비교를 가능하게 합니다.
2. 벤치마크 챌린지: 72.61%의 베이스라인을 개선하기 위한 명확하고 측정 가능한 과제를 제시합니다. 이 챌린지는 복잡한 수치 추출과 엄격한 형식 제약을 동시에 처리할 수 있는 프롬프트 개발을 장려합니다.
3. LLM 역량에 대한 통찰: 단순해 보이는 작업(숫자 추출) 속에 숨겨진 복잡성(모호한 척도, 결측치, 형식 노이즈)에 초점을 맞춤으로써, 수치 작업에 대한 효과적인 프롬프트 설계의 미묘한 차이와 LLM의 한계를 심층적으로 이해하고자 합니다.

저자는 이 작업을 연구 효율성을 높이기 위한 실질적인 전략으로 배치하며, 여러 팀이 공통의 과제에 대해 해결책을 생성할 수 있도록 하여 이 챌린지가 연구자와 학생 프로젝트 모두에 적합하다고 제안합니다.