Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses

기술 요약: 언어 모델 응답의 상호작적인 잠재력 평가

문제 정의
과학적 정보 탐색에서의 대규모 언어 모델(LLM)에 대한 현재의 평가는 실시간 또는 다회차 상호작용을 포함하는 "사용자 중심적(use-centric)"인 방식으로 점차 변화하고 있습니다. 그러나 이러한 평가들은 주로 단일하고 정적인 채팅 인터페이스를 가정합니다. LLos가 새로운 형태의 가변적 인터페이스(예: 직접 조작 컨트롤이 있는 읽기 또는 쓰기 도구)로 통합됨에 따라, 기존의 평가 프레임워크는 인터페이스 특유의 기준을 반영하지 못하는 한계가 있습니다. 구체적으로, 사용자의 제어를 지원하기 위해 하나의 질의에 대해 해석 가능한 축(예: 언어 복잡도)을 따라 서로 다른 여러 응답을 신뢰성 있게 생성할 수 있는지 여부를 평가하는 방법론이 부족합니다. 이전 연구들이 특정 청중에 맞춘 단일 응답의 개인화에 집중했다면, 본 논문은 사용자가 선호하는 복잡도 수준을 동적으로 선택할 수 있도록 하는 '범위(range)'의 응답을 생성하는 모델의 능력을 평가하는 필요성을 다룹니다.

방법론
저자들은 형성적 사용자 연구(formative user study)에 기반하여 설계되었으며, 대규모 모델 평가에 적용된 새로운 평가 프레임워크를 제안합니다.

1. 형성적 사용자 연구 (N=16):

   • 설계: 기존의 일반적인 채팅 인터페이스와 언어 복잡도(레벨 1–5)를 조절하는 슬라이더 기능이 있는 상호작적 인터페이스를 비교하는 피험자 내(within-subjects) 연구입니다.
   • 과업: 참가자들(주로 STEM 연구자)은 생소한 STEM 주제를 탐색했습니다.
   • 결과: 사용자들은 상호작적인 복잡도 조절을 통한 주체성(agency)을 높게 평가했으나, 기존 인터페이스의 경우 복잡도가 일관되지 않은 경우가 많다고 언급했습니다. 참가자들은 복잡도를 인지하는 세 가지 핵심 요인으로 전문 용어(Jargon)(단어의 친숙도), 정보량(Information)(기술적 세부 사항의 양), 그리고 **길이(Length)**를 꼽았습니다. 또한 그들은 복잡도의 미세한 변화는 인지하기 어려울 수 있으므로, 레벨 간에 뚜렷한 차이가 필요하다고 지적했습니다.

2. 모델 평가 프레임워크:

   • 데이터: 연구는 다섯 가지 STEM 분야(생물학, 생물물리학, 컴퓨터 과학, 광학, 물리학)에 걸친 ScholarQA-Multi(ScholarQABench의 하위 집합)에서 추출된 98개의 전문가 작성 과학 질의를 활용했습니다. 견고성을 검증하기 위해 RAG 파이프라인을 통해 생성된 더 큰 규모의 샘за 459개 질의도 테스트되었습니다.
   • 모델: 다섯 가지 최신 모델이 평가되었습니다: GPT-5.1, GPT-5 mini, Claude Sonnet 4.5, Claude Sonnet 4.5 + Thinking, 그리고 DeepSeek-V3.1.
   • 생성 프로토콜: 각 질의에 대해, 모델은 "대학생"부터 "시니어 연구자"(또는 "어린이"부터 "전문가")까지 특정 청중에 맞춰 고정된 다섯 가지 버전의 응답을 생성하도록 프롬프트되었습니다.
   • 복잡도 측정 지표: 사용자 연구와 기존 문헌에 근거하여 세 가지 지표를 정의했습니다:
     • 전문 용어(Jardgon): Dale-Chall 단어 목록에 없는 단어의 비율.
     • 정보량(Information): LLM 파이프라인을 통해 식별된 독립적인 "원자적 사실(atomic facts)"의 개수.
     • 길이(Length): 총 글자 수.
   • 성능 기준: 성공 여부는 단일 응답의 품질이 아니라, 버전 간의 변화가 갖는 *방향성(directionality)*에 의해 정의됩니다. 의도된 복잡도 수준이 높아짐에 따라 전문 용어, 정보량, 길이 지표가 일관되게 증가한다면 해당 모델은 우수한 성능을 보이는 것으로 간듭니다.

주요 결과
평가 결과, 현재의 LLM은 요청받았을 때 서로 다른 복잡도 수준을 신뢰성 있게 생성하는 데 어려움을 겪는 것으로 나타났습니다:

• 일관되지 않은 복잡도 조절: 모델들은 응답 전반에 걸쳐 복잡도를 변화시키기는 하지만, 그 변화가 빈번하게 불일치합니다. 가장 우수한 성능을 보인 모델(Claude Sonnet 4.5)의 경우에도, 단일 질의에 대한 다섯 단계의 레벨 중 전문 용어 지표가 올바른 방향으로 증가한 경우는 **46%**에 불과했습니다. 정보량 지표는 **33%**로 더 낮았습니다.
• 길이와 복잡도의 관계: 모델들은 복잡도 수준이 높아짐에 따라 길이를 일관되게 증가시켰습니다(대부분의 입력에서 >98%). 그러나 이러한 길이의 증가는 전문 용어나 정보량의 증가와 상관관계가 없었습니다. 많은 경우, 모델은 "설명적 단순화(elaborative simplification)"를 수행하여, 기술적 밀도는 낮추면서도 더 쉬운 언어로 개념을 설명하는 텍und의 내용을 추가함으로써 길이를 늘렸습니다.
• 후반 단계에서의 수익 체감: 모델들은 첫 번째 전이(예: 대학생에서 박사 과정생으로)를 구분하는 데는 훨씬 뛰어났으나, 이후의 전이에서는 그렇지 못했습니다. 예를 들어, GPT-5 mini는 1단계에서 2단계로 넘어가는 전이에서 87.76%의 입력에 대해 전문 용어를 올바르게 증가시켰지만, 이후의 전이에서는 약 60%로 떨어졌습니다.
• 결과의 견고성: 이러한 결과는 샘플 크기를 459개로 늘리거나 청중 앵커를 더 넓은 범위(어린이에서 전문가)로 변경했을 때도 동일하게 유지되었습니다. 청중 간의 격차가 넓어질수록 성능 지표가 약간 개선되기는 했으나, 모델들은 여전히 복잡도 지표를 올바른 방향으로 이동시키는 데 자주 실패하며 종종 우연 수준(chance levels) 근처에 머물렀습니다.

의의 및 기여
본 논문은 세 가지 주요 기여를 합니다:

1. 새로운 평가 프레임워크: 단일한 "최적의" 응답을 평가하는 대신, 특정 차원(언어 복잡도)을 따라 여러 개의 구별된 응답을 생성하는 능력을 바탕으로 LLM을 평가하는 방법을 도입합니다. 이는 초점을 정적인 개인화에서 상호작적인 사용자 제어로 전환합니다.
2. 검증된 복잡도 측정 지표: 사용자 인식과 선행 연구에 근거한 세 가지 지표(전문 용어, 정보량, 길이)를 확립하여, 응답 버전 간의 관계를 평가하는 기준을 제공합니다.
3. 한계에 대한 실증적 증거: 본 연구는 최신 상태의 모델들이 여러 버전에 걸쳐 복잡도 지표를 올바른 방향으로 조정하는 데 자주 실패한다는 것을 입증합니다. 이는 모델이 다양한 길이의 텍스트를 생성할 수는 있지만, 사용자가 예측 가능한 단조 증가(monotonic change)를 기대하는 직접 조작 인터페이스를 지원하는 데 필요한 미세한 제어 능력은 부족함을 시사합니다.

저자들은 상호작적인 인터페이스가 사용자 제어를 위한 유망한 패러다임을 제공하지만, 현재의 LLM 역량은 일관되고 다단계적인 응답 변형을 생성하는 측면에서 상당한 개선 없이는 이를 신뢰성 있게 지원하기에 불충분하다고 결론지었습니다. 이 연구 결과는 가변적 인터페이스의 잠재력과 현재 모델 동작의 실제 현실 사이의 간극을 강조합니다.