Simorgh at SemEval-2026 task 7: Region-Aware Hybrid Retrieval for Low-Resource Cultural Reasoning in Multilingual Question Answering

기술 요약: SemEval-2026 태스크 7 의 Simorgh

문제 정의
대규모 언어 모델 (LLM) 은 일반적인 추론과 서구 중심의 문화적 지식에서 높은 숙련도를 보이지만, 동양 배경이나 저자원 지역의 문화적 기반 질문을 다룰 때는 성능이 크게 저하됩니다. 이러한 불균형은 위키피디아나 커먼 크롤과 같은 훈련 코퍼스가 지배적인 언어와 관점에 크게 치우쳐 있어 일상적인 문화 지식의 분포가 불균형하게 형성되었기 때문입니다. 그 결과, 아메하릭어, 하우사어, 순다어와 같은 언어로 요리, 가족 관계, 지역 명절 등 특정 사회문화적 도메인에 대해 질문할 때 모델은 종종 불완전하거나 지나치게 일반화된 답변, 혹은 환각된 답변을 생성합니다. 본 논문에서 다루는 핵심 과제는 파라메트릭 지식에만 의존하지 않고 이러한 소외된 맥락에서 객관식 질문 응답 (MCQA) 의 정확도와 문화적 적절성을 향상시키는 것입니다.

방법론
저자들은 BLEnD 벤치마크 (SemEval-2026 태스크 7) 를 위해 설계된 Simorgh라는 2 단계 파이프라인을 제안합니다. 시스템 아키텍처는 지역 인식 하이브리드 검색 메커니즘과 양자화된 LLM 추론 엔진을 통합합니다.

1. 하이브리드 증거 랭커:

   • 어휘 매칭: 쿼리와 문서 증거 간의 정확한 키워드 매칭을 포착하기 위해 표준 BM25 알고리즘과 단어 경계 토큰화를 활용합니다.
   • 의미적 유사성: all-MiniLM-L6-v2 SentenceTransformer 를 사용하여 밀집 임베딩을 생성하고, 질문과 증거 간의 코사인 유사성을 계산합니다.
   • 지역 인식 휴리스틱: 결합된 점수에 새로운 가중치 휴리스틱을 적용합니다. 검색된 증거 텍스트에 명시적인 지역 참조가 포함된 경우 점수에 30% 보너스를 부여합니다.
   • 점수 계산식: 최종 랭킹 점수는 다음과 같이 계산됩니다:
     $$\text{FinalScore} = (0.4 \cdot \text{BM25} + 0.6 \cdot \text{Semantic}) \cdot (1 + \text{RegionBonus})$$
   • 출력: 추론 단계에 사용할 상위 5 개 최고 순위 증거 청크가 추출됩니다.

2. 양자화된 LLM 추론 엔진:

   • 모델: 시스템은 VRAM 사용량을 최적화하고 효율적인 배치 처리를 가능하게 하기 위해 4 비트 NormalFloat(nf4) 양자화와 이중 양자화를 적용하여 로드된 Qwen3-14B 모델을 사용합니다.
   • 프롬프트 구성: 모델을 "문화적 추론 모델"로 프롬프트합니다. 검색된 상위 5 개 문서는 컨텍스트 윈도우 내에서 질문과 네 가지 답변 선택지 (A, B, C, D) 바로 위에 삽입됩니다. 검색된 증거가 없는 경우 모델은 파라메트릭 지식을 기본으로 사용합니다.
   • 결정론적 선택: 자유 텍스트 생성 (포맷 오류 위험) 대신 로그이트 기반 결정론적 선택을 사용합니다. 시스템은 'A', 'B', 'C', 'D' 토큰에 대한 다음 토큰 예측 로그이트 값을 엄격하게 추출하여 확률 질량이 가장 높은 옵션을 선택합니다.

주요 기여

• 지역 인식 하이브리드 검색: 본 논문은 어휘 (BM25) 와 의미 (밀집) 매칭을 결합하고 지역 참조를 포함하는 증거를 우선시하기 위한 특정 휴리스틱을 추가한 검색 전략을 소개하여, 문화적으로 위치된 추론을 위한 검색된 컨텍스트의 관련성을 향상시키는 것을 목표로 합니다.
• 문화적 추론을 위한 구조화된 프롬프팅: 양자화된 LLM 이 MCQA 를 수행하도록 검색된 문화적 증거를 구조화된 프롬프트에 효과적으로 통합하는 방법을 보여줍니다.
• 로그이트 기반 결정론적 출력: 답변 선택을 위해 생성 텍스트를 우회함으로써, 이 방법은 포맷의 견고성과 계산 효율성을 보장하며 검색 품질을 답변 선택에 직접 매핑합니다.

결과
30 개 언어와 16 개 지역을 포괄하는 BLEnD 벤치마크에서 수행된 실험은 순수 파라메트릭 추론에 비해 하이브리드 검색 접근 방식이 교차 언어적 안정성을 향상시킨다는 것을 나타냅니다.

• 성능 격차: 하이브리드 접근 방식이 일부 불균형을 완화하지만, 고자원 언어 (예: 영어, 프랑스어) 와 저자원 언어 (예: 아메하릭어, 하우사어, 순다어) 사이에는 여전히 눈에 띄는 성능 격차가 존재합니다.
• 검색의 영향: 검색 기반 증강이 언어 간 성능 안정화에 도움이 되지만, 훈련 데이터 불균형으로 인한 제한을 완전히 극복하지는 못한다는 결과가 나타났습니다. 고자원 언어는 여전히 저자원 언어에 비해 현저히 높은 정확도를 보입니다.

의의와 한계
본 논문은 어휘 매칭, 의미적 유사성, 그리고 지역 우선 순위 랭킹을 하이브리드 검색 및 로그이트 기반 추론 모델에 통합하는 것이 교차 문화적 추론 성능을 안정화하는 데 도움이 된다고 주장합니다. 그러나 저자들은 이 솔루션의 완전성에 대해 겸손한 입장을 견지합니다. 대규모 사전 훈련 코퍼스로 인해 생성된 불균형을 해결하는 데 검색 증강만으로는 부족하다는 점을 인정합니다.

식별된 구체적인 한계는 다음과 같습니다:

• 외부 컬렉션에 대한 의존성: 시스템의 효과성은 관련 문화 문서의 가용성에 의해 제한됩니다. 외부 코퍼스에 특정 문화 데이터가 부족하면 검색 모듈이 의미 있는 증거를 제공하지 못할 수 있습니다.
• 휴리스틱 제약: 문화적 참조가 텍스트에 명시적으로 명시되지 않고 암시적인 경우 지역 가중치 휴리스틱은 실패할 수 있습니다.
• 추론 깊이: 로그이트 기반 선택 전략은 추론을 다음 토큰 확률 분포로 제한하여 복잡한 문화적 추론에 필요한 미묘하고 다단계의 숙고를 놓칠 수 있습니다.
• 양자화 효과: 4 비트 양자화는 효율성을 높이지만, 약간의 표현 정밀도 손실을 초래할 수 있으며, 이는 언어적으로 복잡하거나 문법적으로 풍부한 언어의 성능에 영향을 미칠 수 있습니다.

저자들은 향후 작업이 LLM 평가의 무결성과 공정성을 더욱 향상시키기 위해 동적 지역 모델 개발, 문화적으로 정보화된 재랭킹 메커니즘, 그리고 저자원 언어 공동체를 대상으로 한 미세 조정 전략에 집중해야 한다고 결론지었습니다.