기술 요약: STRIVE – 등급화된 개연성 생성 및 평가에서의 추론 한계 탐색

1. 문제 정의

사건 지식(event knowledge)에 관한 심리언어학 연구는 참가자들이 사건의 개연성(예: "누가 무엇을 누구에게 하는가")을 판단하는 통제된 자극 세트에 의존한다. 개연성 효과를 고립시키기 위해서는 특정 개연성 수준에 따라 하나의 사건 슬롯(일반적으로 행위자/Agent)만 변하고 나머지 모든 특징(동사, 대상/Patient, 도구/Instrument, 장소/Location)은 고정된 일치된 문장 세트가 필요하다.

기존의 방식은 이러한 세트를 구축하는 데 많은 노동력과 수작업을 요구한다. 또한, 현재의 자동화된 접근 방식은 "명확히 개연성 있는" 상태에서 "명히 개연성 없는" 상태까지 연속적인 그래디언트를 형성하는 등급화된(graded) 개연성 세트를 생성하는 데 실패하는 경우가 많다. 특히, 중간 단계인 "다소 개연성 있는" 또는 "다소 개연성 없는" 조건(hard conditions)을 생성하는 것은 어렵다. 이는 해당 사례들이 의미적 경계 근처에 위치하여, 명백한 범주로 붕괴되지 않으면서도 테마 적합성(thematic fit)과 도메인 중첩에 대한 미묘한 추론을 요구하기 때문이다.

2. 방법론: STRIVE 프레임워크

저자들은 통제된 사건-개연성 자극 세트를 공동으로 생성하고 평가하도록 설계된 LLM 기반 프레임워크인 STRIVE를 소개한다. 이 프레임워크는 루트 동사(root verb)를 바탕으로 작동하며, 2x2 설계에 해당하는 네 개의 문장 세트($S = \{s_{PE}, s_{PH}, s_{IH}, s_{IE}\}$)를 생성한다:

• 개연성(Plausibility): 개연성 있음(Plausible) vs. 개연성 없음(Implausible).
• 난이도(Difficulty): 쉬움(Easy) vs. 어려움(Hard).

2.1 생성 전략

STRIVE는 행위자(Agent) 슬롯은 변하지만 동사 형태, 대상, 도구, 장소는 일정하게 유지되는 공유된 사건 프레임을 사용한다. 프레임워크는 네 가지 생성 전략을 테스트한다:

1. 추론 기반(Reasoning Base, RB): 구조화된 프롬프트를 사용하여 작업을 다섯 가지 하위 작업(장면 설계, 행위자 선택, 시각적 구별성 확인, 구성, 검증)으로 분해하는 단일 패스 생성 방식이다. 결정적으로, 여기에는 모델이 구조화된 JSON을 출력하기 전에 전체 절차를 추론하는 **글로벌 추론 스크래치패드(global reasoning scratchpad)**가 포함된다.
2. 언어화 추론(Reason-to-Verbalize, R2V): 직접적인 행위자 선택 대신 **언어화된 샘플링(verbalized sampling)**을 사용한다. 모델은 특정 개연성 범위(예: PE: 0.80–1.00, IH: 0.15–0.35)에 명시적인 확률 점수를 할당하여 교차 등급 오염을 방지하는 후보 행위자 풀을 생성한다.
3. 추론 기반 정교화(Reason-to-Refine, R2R): 초기 RB 출력을 평가자가 피드백하는 반복적 접근 방식이다. 피드백에는 구체적인 진단(예: "행위자가 다른 조건에 속함", "장면이 그래디언트를 지원하지 않음")이 포함되며, 생성자는 전체를 다시 생성하는 대신 실패한 구성 요소(행위자 또는 장면)만을 수정한다.
4. R2VR: R2R 프로세스를 R2V 출력으로 초기화한다.

2.2 평가 메커니즘

평가자는 별도의 LLM 인스턴스로서 생성된 세트를 세 가지 기준에 따라 평가한다:

1. 조건별 적대적 판결(Per-condition Adversarial Verdict): 각 행위자에 대해, 평가자는 해당 행위자가 왜 그래디언트 상에서 한 단계 높고 한 단계 낮은 수준에 속하는지에 대한 가장 강력한 논거를 제시해야 한다. 판결이 "CORRECT"가 되려면 할당된 배치가 이러한 반론에 대해 견고해야 한다. "개연성 없음-어려움(Implausible-Hard, IH)" 조건의 경우, 특정 **중첩 감사(overlap audit)**가 수행되며, 행위자가 다섯 가지 차원(직업적 도메인, 설정, 도구, 대상 유형, 물리적 행동) 중 최소 두 가지를 '개연성 있음-쉬움(PE)' 행위자와 공유할 것을 요구한다.
2. 시각적 구별성(Visual Distinctiveness): 행위자들은 사진(예: 유니폼이나 장비)을 통해 직업을 식별할 수 있어야 하며, 서로 시각적으로 구별되어야 한다.
3. 장면 평가(Scene Assessment): 고정된 장면(동사, 대상, 도구, 장소)이 전체 개연성 그래디언트를 지원할 수 있는지, 아니면 재설계가 필요한지를 평가한다.

2.3 실험 설정

• 모델: 6개의 모델이 테스트되었다 (GPT-5.1, Claude Sonnet 4.6, 그리고 4개의 오픈 소스 모델: Qwen3-Next-80B, Qwen3-30B, Ministral-14B, Qwen3-4B).
• 데이터셋: 심리언어학적 평가에서 추출된 60개의 영어 루트 동사.
• 평가: 저자들은 모델-인간 일치도를 인간-인간 일치도와 비교하기 위해 **대안 주석자 테스트(Alternative Annotator Test, AAT)**를 사용한다.

3. 주요 결과

3.1 생성 품질

• 반복적 정교화의 중요성: 가장 중요한 발견은 반복적 정교화(R2R/R2VR)가 품질을 획기적으로 개선한다는 것이다. GPT-5.1의 경우, 고품질(GOLD) 세트 비율이 28.3%(RB)에서 75.0%(R2R)로 상승했다.
• 추론의 역할: 글로벌 추론 스크래치패드를 제거하면 RB 성능은 16.7%로, R2R은 40.0%로 감소했다. 이는 명시적인 추론 흔적이 복잡한 제약 조건을 처리하는 데 필수적임을 나타낸다.
• 토큰 비용: 반복적 방법은 단일 패스 방법보다 2.7~3.5배 더 많은 출력 토큰을 요구했지만, 이 비용은 상당한 품질 향상을 가져왔다.

3.2 평가자 검증

• LLM-인간 일치도: AAT를 사용하여, 높은 추론 노력을 기울인 GPT-5.1은 인간-인간 일치도($\kappa = 0.529$)와 통계적으로 열등하지 않은 모델-인간 일치도($\kappa = 0.530$)를 달성했다. 이는 LLM이 주요 분류 작업에서 인간 주석가를 대체할 수 있음을 시사한다.
• 경계 난이도: "개연성 없음-어려움(IH)" 조건이 가장 어려운 과제로 남았다. 최상의 평가자조차 이 특정 조건에 대해서는 57%의 정확도만을 달성했다. 인간 주석자들 또한 이 항목들에 대해 높은 불일치(SD = 1.03)를 보였으며, 이는 의미적 경계가 본질적으로 모호함을 나타낸다.
• 시각적 구별성: 텍스트 기반 설명에 대한 낮은 인간-인간 일치도로 인해 시각적 구별성 검증은 신뢰하기 어려웠다. 저자들은 이 특정 제약에 대해서는 이미지 기반 검증이 필요하다고 언급했다.

3.3 슬롯 의존적 난이도

• 동사의 난이도는 내재적이지 않음: 유효한 세트를 생성하는 난이도는 어떤 슬롯을 변화시키느냐에 따라 크게 달라진다. 행위자 변화에 "쉬운" 동사(예: catch, throw)는 대상(patient) 슬롯을 변화시킬 때 실패하는 경우가 많으며, 그 반대도 마찬가지다.
• 불일치하는 성공 집합: 단 3%의 동사-모델 쌍만이 행위자 변화와 대상 변화 조건 모두에서 GOLD 상태를 달려했다. 이는 포괄적인 자극 커버리지를 위해서는 단순히 행위자뿐만 아니라 여러 슬롯을 변화시켜야 함을 시사한다.

4. 기여 및 의의

본 논문은 다음과 같은 기여를 주장한다:

1. 최초의 통합 프레임워크: STRIVE는 네 가지 순서화된 개연성 조건에 대해 매칭되고 슬롯이 제어된 자극 세트를 공동으로 생성하고 평가하는 최초의 프레임워크이다.
2. 확장 가능한 자극 구축: 심리언어학 연구에서 사건 세트의 초기 생성 및 평가를 자동화함으로써 수작업 노력을 줄이는 확장 가능한 접근 방식을 제공한다.
3. 추론 한계에 대한 통찰: 구조적 추론(스크래치패드, 반복적 정교화)이 생성 품질을 크게 향見시키지만, 개연성 경계(특히 IH 조건) 근처의 모호성을 완전히 해결하지는 못한다는 점을 보여준다. 이는 미세한 의미적 구분에 있어 현재 LLM 능력의 지속적인 한계를 강조한다.
4. 방법론적 엄밀성: 심리언어학적 맥락에서 '판사로서의 LLM(LLM-as-a-judge)'에 대한 엄격한 평가 프로토콜(AAT)을 제공하며, 특정 모델 제품군과 추론 구성이 인간의 성능에 부합하기 위해 필요함을 보여준다.

5. 한계 및 윤리적 고려 사항

• 텍스트 기반 시각적 평가: 시각적 구별성 체크가 이미지 기반이 아닌 텍사트 기반(의복에 대한 설명에 의존)이라는 점이다. 저자들은 이를 향후 이미지 기반 검증이 필요한 한계점으로 인정한다.
• 직업적 고정관념: 시각적 식별성(구별 가능성)을 확보하기 위해 특징적인 유니폼을 가진 직업에 의존하는 것은 인구통계학적 및 성별 고정관념을 부호화할 수 있다. 저자들은 이를 임상 적용 전 인간의 검토가 필요한 한계점으로 지적한다.
• 영어 한정: 프레임워크와 실험은 영어 동사와 문장으로 제한된다.
• 임상 범위: STRIVE는 연구 및 평가 자료 개발을 위해 설계되었으며, 자율적인 임상 진단을 위한 것이 아니다. 생성된 자극은 환자에게 사용하기 전 자격 있는 임상의의 검토를 거쳐야 한다.

요약하자면, STRIVE는 구조적 추론과 반복적 정교화를 통해 고품질의 등급화된 개연성 자극을 자동 생성할 수 있음을 보여주지만, 동시에 인간의 사건 지식의 "어려운" 경계가 최첨단 LLM에게도 여전히 도전적인 영역임을 드러낸다.