기술 요약: LLM은 언어적으로 다양화된 텍스트 전반에서 논리적 추론을 위한 안정적인 형식 논리 번역기인가?

1. 문제 정의

대규모 언어 모델(LLM)을 활용하는 논리적 추론 시스템은 종-기호적(neuro-symbolic) 패러다임을 자주 채택하며, 여기서 LLM은 자연어(NL)를 형식 논리로 번역하고, 이후 기호 솔버(symbolic solver)가 이를 처리한다. 이러한 방식은 효과적이지만, 번역 단계가 충실하고 일관되어야 한다는 점에 크게 의존한다. 결정적이지만 아직 충분히 탐구되지 않은 취약점은 **심볼 드리프트(symbol drift)**이다. 이는 LLM이 서로 다른 언어적 형태(예: 유의어, 패러프레이징 또는 구문적 변형)로 나타나는 표현들을 동일한 논리적 심볼로 매핑하는 데 실패하는 현상을 의미한다.

기존의 논리적 추론 벤치마크는 대개 매우 균일한 언어를 사용하여, 동일한 개념에 대해 동일한 표면 형태를 반복하는 경향이 있다. 결과적으로, 이러한 벤치마크들은 LLM이 현실적인 언어적 변형 속에서도 **심볼 일관성(symbol consistency)**을 유지할 수 있는지 평가하는 데 실패한다. 이러한 격차는 LLM의 강건성을 과대평가하게 만든다. 실제 세계의 텍스트는 동일한 개념을 다양한 어구로 표현하며, 이는 추론 체인을 깨뜨리고 솔버 오류를 유발할 수 있기 때문이다.

2. 방법론

2.1 SoLT: 언어적 다양성을 위한 벤치마크

번역 안정성에 대한 평가 부족을 해결하기 위해, 저자들은 SoLT(Stability of Logical Translation)를 도입한다. SoLT는 완전히 새로운 데이터셋을 만드는 것이 아니라, 논리 불변적 언어 다양화(Logic-invariant Linguistic Diversification) 방식을 사용하여 기존의 추론 데이터셋(LogicDeduction, ProntoQA, FOLIO, ProofWriter, ProverQA)을 체계적으로 변형한 것이다.

다양화 파이프라인은 세 단계로 작동한다:

1. 반복되는 개념 식별: 시스템은 문제 내에서 여러 번 등장하는 표면 표현($freq_q(e) \ge 2$)을 식별한다.
2. 다양화 전략 구축: 각 반복되는 개념에 대해, 시스템은 세 가지 수준에서 변형을 생성한다:
   • 단어 수준: 유의어 치환 (WordNet 사용).
   • 구(Phrase) 수준: 패러프레이징 (PPDB 사용).
   • 문장 수준: LLM을 사용한 구문 재작성 (예: 능동-수동 교체, 3인칭 재구성).
3. 의미론적 필터링 하의 후보 생성: 생성된 후보들은 강력한 문장 임베딩 모델(예: BGE-large-en-v1.5)을 사용하여 의미적 유사성이 임계값($\theta = 0.90$)을 초과하는지 확인하는 과정을 거친다. 그 후 LLM이 최종적으로 다양화된 문제를 조립하며, 이때 동일한 개념에 대해 표면적 다양성은 극대화하고 반복되는 형태는 최소화하는 후보를 선택한다.

임베딩 유사도 점수와 인간/LLM의 논리 불변성 점수(1~5 척도)를 통한 검증은 SoLT가 의미와 논리 구조를 보존하면서도 언어적 변형을 크게 증가시켰음을 확인해 준다.

2.2 MenTaL: 정신적 표상 가이드 프레임워크

심볼 드리프트를 완화하기 위해, 저자들은 MenTaL(Mental Representation Table-guided Translation)을 제안한다. 정신적 표상 이론에서 영감을 받은 MenTaL은 LLM이 번역 과정 중에 **정신적 표상 테이블(Mental Representation Table, MRT)**을 구축하고 유지하도록 명시적으로 가이드한다.

MRT는 의미적으로 동등한 표현들을 하나의 통합된 논리 심볼($\sigma$)로 매핑한다. 이 프레임워크는 테이블을 위한 세 가지 업데이트 연산을 정의한다:

• 확장(Extending): 이전에 본 적 없는 개념에 새로운 심볼을 할당함.
• 재사용(Reusing): 새로운 표현이 기존의 것과 의미적으로 동등할 경우($e^{(i)} \equiv e^{(j)}$), 이를 기존 심볼에 매핑함.
• 점검 및 정제(Checking & Refining): 부분적 중첩이나 포함 관계를 조정함 (예: "인기 있는 쇼"를 정제된 원자적 심볼로 매핑).

MenTaL은 다음과 같이 구현될 수 있다:

• 인컨텍스트 러닝(In-Context Learning): 폐쇄형 모델을 위해 프롬프트에 MRT 구축 사례를 제공함.
• 지도 미세 조정(Supervised Fine-Tuning, SFT): 고성능 모델이 생성한 추론 궤적을 사용하여 더 작은 오픈 소스 모델(예: LLaMA-3-8B)을 학습시킴.

3. 주요 기여

1. SoLT 벤치마크: 언어적 변형 하에서 번역 안정성을 체계적으로 평가하기 위해, 추론 데이터셋을 다양한 논리적으로 동등한 형태로 재작성하는 일반적인 방법론과 결과물인 벤치마크를 제공한다.
2. MenTaL 프레임워크: 정신적 표상 테이블을 통해 개념-심볼 관계를 명시적으로 조직함으로써 일관된 심볼 매핑을 강제하는 가볍고 일반화 가능한 접근법을 제공한다.
3. 실증적 분석: 현재의 LLM이 언어적 다양성 하에서 광범위한 심볼 드리프트를 겪고 있으며, MenTaL이 이 문제를 효과적으로 완화한다는 것을 입증하는 광범위한 실험을 수행한다.

4. 실험 결과

4.1 현재 LLM의 불안정성

네 가지 LLM(GPT-3.5, GPT-4, DeepSeek-V3, DeepSeek-R1)과 세 가지 기호 솔버를 사용하여 SoLT에 대한 실험을 진행한 결과, 상당한 성능 저하가 나타났다:

• 정확도 하락: 직접 프 prompting 시, 다양화된 입력값에 대해 정확도가 크게 떨어졌다 (예: 모든 태스크 평균 0.51에서 0.24로 하락).
• 심볼 분산 점수(Symbol Dispersion Score, SDS): 심볼 드리프트를 정량화하는 새로운 지표이다. SDS는 원본 데이터셋에서는 0에 가깝게 유지되지만, SoLT 입력에서는 급격히 상승한다(이는 일관되지 않은 매핑을 나타냄).
• 오류 분석: 주요 실패 모드는 파싱이나 실행 오류가 아니라, 일관되지 않은 심볼 할당으로 인한 논리 오류였다. 가벼운 언어적 변형(예: 유의어 치환)조차 명확한 정확도 저하를 야기했다.
• 프롬프트 튜닝의 한계: 일관성을 장려하는 단순한 프롬프트 조정이나 퓨샷(few-shot) 예시는 다양화된 태스크에서 성능을 유의미하게 개선하거나 SDS를 줄이는 데 실패했다.

4.2 MenTaL의 효과성

MenTaL을 적용하면 일관되고 안정적인 성능 향상이 나타난다:

• 인컨텍스트 러닝: 고성능 모델의 경우, MenTal은 SoLT 태스크에서 SDS를 거의 0으로 줄였으며 정확도를 최대 **40.74%**까지 향상시켰다 (예: ProntoQA).
• 지도 미세 조정(SFT): 더 작은 모델인 LLaMA-3-8B의 경우, 표준 SFT는 정확도를 개선했으나 다양화된 데이터에서 심볼 드리프트를 줄이는 데는 실패했다. 반면, MenTal 기반 SFT는 원본 및 다양화된 데이터셋 모두에서 거의 0에 가까운 SDS와 현저히 높은 정확도를 달eric하여, 솔버와 태스크 전반에 걸친 강력한 일반화 능력을 입증했다.
• 오류 귀인: 수동 분석 결과, MenTal에 의해 수정된 오류의 약 **50%**가 구체적으로 개선된 심볼 일관성 덕분이었음이 확인되었으며, 이는 메커니즘의 타겟팅된 효능을 입증한다.

4.3 다양화 강도

"다양화 강도"(문제당 수정된 문장의 수)를 변화시킨 실험에서, 다양화 강도가 높아질수록 LLM의 정확도가 완만하고 연속적으로 하락하는 모습이 관찰되었다. 이는 더 많은 의미적 변형을 처리할수록 모델의 일관된 심볼 정렬 능력이 점진적으로 침식된다는 누적 효과를 나타낸다.

5. 의의 및 주장

본 논문은 현재의 벤치마크가 언어적 다양성을 간과함으로써, LLM 기반 논리 번역기의 핵심적인 약점인 '다양한 표현들 사이에서 일관된 심볼 매핑을 유지하지 못하는 능력'을 은폐하고 있다고 주장한다. 이러한 "심볼 드리프트"는 유의어와 패러프레이징이 흔히 발생하는 실제 환경에서 논리적 일관성을 무너뜨린다.

이 연구의 의의는 다음과 같다:

1. 진단: 표준 벤치마크가 놓치는 번역 불안정성을 식별하고 측정할 수 있는 체계적인 도구(SoLT)를 제공한다.
2. 해결책: 솔버의 구조적 변경 없이도 뉴로-기호적 추론 시스템의 강건성을 높일 수 있는 실용적이고 일반화 가능한 방법(MenTal)을 제시한다.
3. 신뢰성: 언어적 변형에도 불구하고 번역 안정성이 유지되도록 함으로써, 실제 응용 분야에서 더욱 신뢰할 수 있는 논리적 추론을 향한 발전을 도모한다.

저자들은 MenTal이 안정성을 크게 향상시키지만, 일관된 심볼 매핑의 과제는 특히 LLM이 복잡하고 언어적으로 다양한 환경에 배치됨에 따라 향후 연구가 지속적으로 필요한 핵심 영역으로 남아있다고 결론짓는다.