Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

기술적 요약: 인간-LLM 상호작용에서의 함의 인식 프롬프팅

문제 제기
Large Language Models(LLM) 이 인간-컴퓨터 상호작용 (HCI) 의 주요 인터페이스로 부상함에 따라, 시스템은 특히 **대화적 함의 (conversational implicature)**와 같은 화용론적 현상에 대해 점점 더 어려움을 겪고 있습니다. 함의는 명시적 진술이 아닌 맥락, 공유된 가정, 그리고 의사소통 규범을 통해 간접적으로 전달되는 의미를 의미합니다 (예: "일이 많이 있어서요"라고 말하며 거절의 뜻을 암시하는 경우). 현재의 LLM 은 종종 문자 그대로의 해석에 의존하여, 사용자가 경직되거나 지능이 부족하거나 의사소통 의도와 맞지 않는다고 인식하는 응답을 생성합니다. 기존 벤치마크는 함의 과제에서의 모델 성능을 평가하지만, 프롬프팅을 통해 암시된 의도를 명시적으로 드러내는 것이 사용자 중심 환경에서 응답의 지각된 품질과 관련성을 향상시키는지 여부에 대한 이해에는 공백이 존재합니다. 또한 HCI 자극 설계 및 평가를 위해 특별히 설계된 경량 운영 분류 체계 (taxonomy) 에 대한 부재도 문제입니다.

방법론
본 연구는 함의를 운영화하고 사용자 인식에 미치는 영향을 평가하기 위해 세 가지 실험 설계를 활용합니다:

1. 분류 체계 개발: 저자들은 Grice 의 화용론과 Searle 의 화행 이론을 기반으로 한 HCI 지향적 세 가지 함의 클래스의 운영 분류 체계를 도입했습니다:

   • 정보 추구 (Information-seeking): 지식이나 명확화에 대한 간접적 요청.
   • 방향 추구 (Direction-seeking): 안내, 행동, 또는 다음 단계에 대한 간접적 요청.
   • 표현적 (Expressive): 직접적 요청 없이 정서, 태도, 또는 평가를 전달하는 발화.
     주된 암시된 의도와 필요한 첫 번째 응답 의무에 기반하여 프롬프트를 라벨링하기 위한 평가 기준 (rubric) 이 수립되었습니다.

2. 실험 1 (해석 벤치마크):

   • 과제: 60 명의 인간 참가자와 5 개의 LLM(GPT-4o, GPT-4, GPT-3.5-turbo, Llama-2-7b-chat, Mistral-7B-Instruct) 이 작성된 30 개의 프롬프트를 세 가지 함의 클래스로 분류하도록 요청받았습니다.
   • 목표: 분류 체계의 학습 가능성과 내부 일관성을 검증하고, 인간 해석 기준선에 대비하여 모델의 정렬 (alignment) 을 벤치마크하는 것입니다.

3. 실험 2 (지각된 관련성과 품질):

   • 과제: 90 명의 참가자가 지각된 관련성과 전체 품질에 대해 5 점 리커트 척도로 LLM 응답을 평가했습니다.
   • 조건: 응답은 두 가지 조건 하에 생성되었습니다:
     • 기준선: 표준 시스템 프롬프트.
     • 함의 인식: 모델이 해당 프롬프트의 특정 함의 클래스와 의사소통 목표에 대한 간략한 정의 (전체 평가 기준 세부 사항 제외) 를 제공받았습니다.
   • 설계: 참가자가 프롬프트 - 응답 쌍의 하위 집합을 보게 되는 불완전한 피험자 간 평가 설계입니다.

4. 실험 3 (표적 강제 선택 후속 조사):

   • 과제: 30 명의 참가자가 실험 2 에서 관련성 또는 품질 평가의 높은 대비 차이를 기반으로 사후 선정된 10 개의 프롬프트 - 응답 쌍의 표적 하위 집합에 대해 이항 강제 선택 (two-alternative forced-choice) 과제를 수행했습니다.
   • 목표: 실험 2 에서 관찰된 평가적 이점이 양쪽 옵션이 나란히 제시될 때 직접적인 쌍별 선호도로 전환되는지 확인하는 것입니다.

주요 기여

1. 운영 분류 체계: 언어 이론에 기반하되 HCI 자극 설계 및 평가에 최적화된 실용적인 세 가지 클래스 함의 분류 체계 (정보 추구, 방향 추구, 표현적) 의 도입.
2. 모델 벤치마킹: 인간 기준선에 대비한 5 개 LLM 의 비교 벤치마크로, 암시된 의도에 대한 인간 해석과 모델의 정렬 정도에서 상당한 변이가 있음을 규명.
3. 사용자 중심 증거: 함의 인식 프롬프팅(의사소통 의도를 명시화) 이 관련성, 품질, 직접적 선호도 측면에서 LLM 응답에 대한 사용자 평가를 측정 가능하게 향상시킨다는 실증적 증거.

결과

• 분류 체계 일관성: 세 가지 클래스 평가 기준은 학습 가능하고 내부적으로 일관성이 있었으며, 인간 주석자들은 작성된 프롬프트에 대해 중간 수준의 일치도 (Fleiss' $\kappa$ = 0.414) 를 보였습니다.
• 모델 정렬: 더 큰 모델이 인간 해석과 더 밀접하게 정렬되었습니다. GPT-4o 가 가장 높은 일치도 (86.67%) 를 보였으며, 이어 GPT-4(73.33%) 가 뒤를 이었습니다. 더 작은 모델들 (Llama-2, Mistral-7B, GPT-3.5) 은 특히 방향 추구 및 표현적 카테고리에서 약하고 불균일한 정렬을 보였습니다.
• 프롬프팅의 영향 (실험 2): 함의 인식 프롬프팅은 평가된 응답 세트 전반에 걸쳐 지각된 관련성 ($p < .001$) 과 지각된 품질 ($p < .001$) 을 유의미하게 향상시켰습니다. 개입은 모델 크기나 함의 클래스와 유의미한 상호작용 효과를 보이지 않았으며, 이는 이 이득이 특정 모델이나 프롬프트 유형에 국한되지 않고 광범위함을 시사합니다.
• 직접적 선호 (실험 3): 강제 선택 후속 조사에서 참가자들은 함의 인식 응답을 **67.6%**의 비율로 선택했는데, 이는 우연보다 유의미하게 높은 비율 ($p = 1.04 \times 10^{-9}$) 입니다.

의의 및 주장
본 논문은 함의가 언어 이론을 HCI 설계에 통합하기 위한 실질적으로 중요한 사례라고 주장합니다. 연구 결과는 다음과 같이 소박하지만 구체적인 결론을 지지합니다:

• 화용론적 발판의 효과: 구조화된 프롬프팅을 통해 암시된 의사소통 의도를 명시화하는 것은 모델 재학습이나 아키텍처 변경 없이 언어 기반 상호작용의 지각된 품질을 향상시킵니다.
• 설계 시사점: 대화형 시스템은 모든 입력을 문자 그대로의 요청으로 취급해서는 안 됩니다. 설계자는 관련성과 적절성을 개선하기 위해 안내나 정서와 같은 잠재적 사용자 의도를 부각시키는 프롬프팅 전략을 채택해야 합니다.
• 현재 모델의 한계: 본 연구는 이러한 이득이 화용론적 발판(명시적 안내) 에서 비롯된 것이지, 현재 모델이 안정적이고 보조받지 않은 인간과 같은 화용론적 추론 능력을 갖추고 있다는 증거가 아님을 명확히 합니다. 더 큰 모델은 인간 판단을 더 잘 모방하지만, 명시적 의도 부각의 혜택을 받습니다.
• HCI 의 전환: 이 연구는 벤치마크 정확도를 넘어 사용자 지각 관련성, 품질, 직접적 선호도를 언어 기반 상호작용 시스템 평가의 핵심 지표로 포함해야 함을 옹호합니다.

저자들은 본 연구가 명시적 의도 부각의 가치를 입증하지만, LLM 이 자율적 함의 추론 문제를 해결했다고 주장하는 것은 아니라고 강조합니다. 대신 언어 이론을 프롬프트 설계 및 상호작용 평가에 활용하는 것의 가치를 부각시킵니다.