Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated

기술 요약: 도시 인지 VLM을 위한 신뢰성 인식 및 협상형 벤치마킹

문제 정의
시각-언어 모델(VLM)은 가로 경관 감사 및 공공 협의와 같은 도시 거버넌스 과업을 위해 거리 수준의 이미지를 구조화된 설명으로 생성하는 데 점점 더 많이 배치되고 있다. 이러한 과업은 종종 관찰 가능한 물리적 속성과 주관적 평가 범주(예: 쾌적함, 안전성, 포용성)를 결กัน해야 한다. 핵심적인 평가 문제가 발생하는 지점은, 이러한 평가에 대한 "그라운드 트루스(ground truth)"가 안정적인 라벨이 아니라, 불일치, 기권, 다수성(plurality)을 특징으로 하는 인간 판단의 분포라는 점이다.

현재의 벤치마킹 관행은 이러한 다원적 판단을 단일 라벨로 축소하며, 불일치를 어노테이션 오류로 취급한다. 이러한 접근 방식은 체계적인 불확실성을 은폐하며, 모델의 정확도를 특정 라벨링 인구와 기권의 의미론에 종속시킨다. 본 논문은 모델 출력이 제도적 결정에 영향을 미치는 도메인에서는, 벤치마킹이 불일치와 기권을 노이즈가 아닌 정보가 담긴 신호로 취급해야 하며, 라벨 공간을 영향을 받는 공동체에 의해 수정될 수 있는 협상 가능한 산물로 취급해야 한다고 주장한다.

방법론
본 논문은 새로운 경험적 벤치마크와 결정론적 제로샷(zero-shot) 평가 프로토콜에 근거하여 논지를 전개한다.

• 데이터셋: 벤치마크는 10개의 패널로 구성된 몬트리올의 100개 거리 수준 장면으로 구성된다. 데이터셋은 50개의 사실적인 합성 렌더링과 50개의 사진으로 균형 있게 구성되었다.
• 어노테이션: 7개 커뮤니티 조직 출신의 12명 참가자가 30개 차원에 걸쳐 이미지를 어노테이션했다. 이 차원들은 객관적 설정(예: 식생, 건축 형태)과 주관적 평가(예: 전체적인 인상, 안전성)를 아우른다.
  • 프로토콜: 어노테이션은 프랑스어로 수집되었다. 연구는 "관찰된 부재"(예: "나무 없음")와 "기권"(예: "해당 없음" 또는 "판단 불가")을 명시적으로 구분한다.
  • 합의(Consensus): 결정론적인 프랑스어-영어 매핑이 적용되었다. 다중 라벨 차원의 경우, 어노테이터의 50% 이상이 선택한 옵션을 유지함으로써 엄격한 합의 집합을 형성했다. 단일 선택 차원의 경우, 다수결 투표를 사용하였으며, 정확히 일치하는 경우(exact ties)는 "불확실함(unsure)"으로 표시하고 정확도 계산에서 제외하였다.
• 모델: 7개의 VLM을 특정 태스크를 위한 파인튜닝 없이 제로샷 설정에서 평가하였다: claude-sonnet, openai-o4-mini, gpt-4.1, gemini-2.5-pro, grok-2-vision, qwen2.5-vl, llama-4-maverick.
• 평사 지표:
  • 모델 정렬(Model Alignment): 단일 선택 항목에 대한 정확도와 다중 라벨 항목에 대한 인간 합의 대비 자카드 지수(Jaccard index)를 측정하였다.
  • 인간 신뢰성: 차원별로 크리펜도르 알파($\alpha$, 명목적 거리)를 사용하여 인간의 상호 어노테이터 신뢰성을 계산하였다.
  • 분석: 인간 신뢰성과 모델 정렬 간의 상관관계를 분석하고, 관찰 가능한 속성과 평가적 속성에 따른 성능을 비교하였으며, 기권율의 분포적 불일치를 조사하였다.

주요 결과

1. 신뢰성과의 상관관계: 인간의 상호 어노테이터 신뢰도와 모델 정렬 사이에는 양의 공변성이 존재한다. 인간의 합의가 높은 차원은 모델의 합의도 높게 나타난다. 인간 신뢰도가 낮은 차원은 모델 성능의 변동성이 크게 나타나는데, 이는 해당 차원에서의 모델 점수가 회복 가능한 시각적 증거보다는 모델의 사전 확률(priors)을 반영할 수 있음을 시사한다.
2. 관찰 가능성 대 평가: 모델은 평가적 차원(예: "전체적인 인상")보다 관찰 가능한 속성(예: 물리적 구조물)에 가까운 차원에서 일반적으로 더 높은 매크로 점수를 달성하였다.
3. 분포적 불일치: "전체적인 인상" 차원의 경우, 모델과 어노테이터는 상당한 분포적 불일치를 보인다. 구체적으로, 모델은 인간 어노테이터보다 "해당 없음"을 더 높은 비율로 선택하는 반면, 어노테이터는 "판단 불가"를 더 자주 사용한다. 이는 모델과 인간이 불확실성과 기권의 의미론을 해석하는 방식에서 차이가 있음을 나타낸다.
4. 소스 효과: 모델은 합성 렌더링보다 사진에서 인간 합의와 더 높은 일치도를 보였으며, 이는 생성 아티팩트, 질감, 조명과 관련된 도메인 시프트를 강조한다.

핵심 기여

• 신뢰성 인식 벤치마킹: 벤치마크 보고서에 모델 점수와 함께 상호 어노테이터 신뢰성을 포함해야 한다는 프레임워크를 제안한다. 이를 통해 이해관계자는 모델의 실패와 대상 개념 자체의 내재적 불안정성을 구분할 수 있다.
• 협상형 벤치마킹: 벤치마크를 "협상 가능한 산물"이라는 개념을 도입한다. 라벨 공간을 고정된 것으로 보는 대신, 영향을 받는 공동체가 정의, 점수 산정 규칙 및 기권 정책을 이의 제기하고 수정할 수 있는 절차를 옹호한다.
• 경험적 닻(Empirical Anchor): 불일치와 기권을 관찰 가능하게 만들어, 이러한 방법론적 주장의 테스트베드 역할을 하는 구체적인 커뮤니티 어노테이션 데이터셋과 평가 프로토콜을 제공한다.
• 공시 표준: 벤치마크 생성자를 위한 공시 세트(표 1)를 제시하며, 여기에는 라벨 사양, 판단 수집 세부 사항, 신뢰성 보고서, 수정 기록 등이 포함되어 가정을 가시화한다.

의의 및 주장
본 논문은 도시 거버넌스에 사용되는 VLM에 대해, 평가 대상을 안정적인 그라운드 트루스로 취급하는 것은 모델의 발전과 배포 위험에 대해 오도하는 결론을 초래할 수 있는 방법론적 실패라고 주장한다. 불일치와 기권을 오류가 아닌 결과값으로 취급함으로써, 제안된 접근 방식은 불확실성을 가시화한다.

그 의의는 단일 정확도 점수를 극대화하는 것에서 벗어나, 정렬이 발생하는 조건을 이해하는 데 초점을 맞추는 데 있다. 저자들은 신뢰성 인식 및 협상형 벤치마킹이 단순히 평가 지표를 개선하는 것을 넘어 거버넌스 메커니즘으로서 기능한다고 주장한다. 이는 논쟁적인 범주를 수정할 수 있게 하며, 제도적 결정에 사용되는 모델 출력이 계속해서 이의 제기와 책임 추궁의 대상이 될 수 있도록 보장한다. 논문은 평가 대상에 대한 벤치마크의 품질이 통계적 설계만큼이나 투명한 가정과 수정 메커니즘에 달려 있다고 결론짓는다.