Detecting Biased Arguments: A Site for Argumentative Injustice

인간의 논쟁 세계에서 우리는 흔히 가장 좋은 해결 방법은 사용된 언어의 논리에만 엄격하게 집중하는 것이라고 가정하곤 합니다. 우리는 논증이 잘 구조화되어 있으면 공정하고, 형식이 어지럽거나 감정적이면 결함이 있다고 생각하는 경향이 있습니다. 이러한 믿음은 정치적 연설부터 온라인 댓글에 이르기까지 우리가 모든 것을 판단하는 방식의 근간을 이룹니다. 그러나 연구가 늘어남에 따라, 이러한 구조 중심의 사고가 때로는 상황의 실체를 보지 못하게 눈을 가릴 수 있다는 점이 시사되고 있습니다. 이는 논증이 차갑고 단계적인 형식을 따르지 않고, 이야기나 개인적 경험에 기반하거나 열정적으로 전달된다는 이유만으로 타당한 주장조차 부당하게 묵살될 수 있음을 의미합니다. 이러한 현상은 '논증적 불의(argumentative injustice)'로 알려져 있는데, 이는 한 사람의 사회적 지위나 화법이 그들의 아이디어를 무시당하거나 편향된 것으로 낙인찍히게 만드는 상황을 말합니다.

편향을 어떻게 탐지할 것인가의 문제는 이 사안의 핵심입니다. 만약 우리가 '편향된' 논증을 찾아내기 위한 도구나 규칙을 만든다면, 우리는 다음과 같은 질문을 던져야 합니다. 이 도구들은 모든 방식의 화법을 인식하고 있는가? 윈저 대학교의 아스마 타주딘(Asma Tajuddin)이 수행한 새로운 연구는 편향을 찾는 행위 자체가 어떻게 불공정의 원인이 될 수 있는지를 탐구합니다. 이 연구는 특정 문제를 조사합니다. 즉, 발화자가 누구인지, 무엇에 반응하고 있는지, 혹은 어떤 종류의 대화가 이루어지고 있는지 알지 못한 채 논증을 고립된 상태로 바라볼 때, 우리는 이를 잘못 판단할 수 있다는 것입니다. 이 연구는 나쁜 추론을 포착하려는 우리의 방식이 특정한 경직된 화법 스타일만을 선호하고 다른 방식은 저평가함으로써, 표준 틀에 맞지 않는 목소리들을 침묵시킬 가능성이 있다고 제안합니다.

이러한 현상이 어떻게 발생하는지 이해하기 위해, 타주딘은 매일 수백 명의 정치인이 법률과 정책을 두고 토론하는 장소인 캐나다 하원을 연구 대상으로 삼았습니다. 그녀는 2026년 6월의 3일 동안 기록된 586개의 구별된 연설을 수집했습니다. 이 연설들은 짧은 진술부터 길고 상세한 설명에 이르기까지 다양했으며, 158명의 서로 다른 국회의원들에 의해 수행되었습니다. 연구의 목적은 당대의 정치를 판단하는 것이 아니라, 동일한 연설이 컴퓨터 프로그램에 의해 서로 다른 조건 하에서 분석될 때 어떻게 라벨링되는지 확인하는 것이었습니다. 연구자는 분석기에 제공되는 맥락의 양에 따라 '편향됨'이라는 라벨이 변하는지 알고 싶었습니다.

실험은 일련의 세 가지 테스트로 설계되었습니다. 첫 번째 테스트에서 컴퓨터는 주변 대화가 모두 제거된 채 연설 내용 자체만을 보았습니다. 두 번째 테스트에서 컴퓨터는 해당 연설과 그 앞뒤로 이어진 두 개씩의 발언을 함께 보아, 토론의 즉각적인 흐름을 파악했습니다. 세 번째이자 가장 완전한 테스트에서 컴퓨터는 그룹이 서로를 설득하려 하는지, 협상을 진행 중인지, 혹은 단순히 정보를 수집 중인지와 같은 구체적인 대화 유형까지 전달받았습니다. 연설 내용은 동일하게 유지하면서 분석기에 제공되는 배경 정보만을 변경함으로써, 연구는 맥락이 판단에 미치는 영향을 분리하여 조사할 수 있었습니다.

결과는 논증이 어떻게 인식되는지에 대한 놀라운 변화를 보여주었습니다. 컴퓨터가 연설을 고립된 상태로 보았을 때, 시스템은 종종 무엇을 판단해야 할지 몰라 하며 거의 절반에 가까운 연설을 '모호함(ambiguous)'으로 분류했습니다. 시스템은 그것이 공정한지 불공정한지 결정하는 데 어려움을 겪었습니다. 그러나 컴퓨터에 주변 대화가 제공되자마자 그 불확실성은 급격히 줄어들었습니다. '편향되지 않음(not biased)'이라는 라벨의 수가 크게 증가했는데, 이는 추가된 정보가 시스템으로 하여써 이들이 이전에 발언된 내용에 대한 타당한 반응임을 인지하도록 도왔음을 시사합니다. '편향됨'으로 분류된 논증의 수도 증가했으나 그 속도는 더 느렸는데, 이는 맥락이 단독으로 보았을 때 숨겨져 있던 진정한 일방성을 식립하는 데 도움을 주었음을 나타냅니다.

연구는 또한 사람들이 자신의 논점을 전개하는 다양한 방식도 면밀히 살펴보았습니다. 분석 결과, 많은 정치인이 전제에서 결론으로 이어지는 표준적이고 논리적인 형식을 사용했지만, 상당 부분의 연설은 다른 방식에 의존하고 있음이 밝혀졌습니다. 전체 기여의 거의 절반은 개인적인 이야기, 타인의 증언, 혹은 감정적 호소에 기반하고 있었습니다. 이러한 방식들은 수학 문제처럼 보이지는 않지만, 그 나름의 무게와 진실을 담고 있습니다. 연구는 이러한 서로 다른 유형의 논증이 어떻게 판단되는지가 맥락에 크게 의존한다는 것을 보여주었습니다. 예를 들어, 화자가 증언을 사용하거나 제도적 권위에 의존할 경우, 전체 대화를 파악한 후에는 컴퓨터가 이를 '편향되지 않음'으로 분류할 가능성이 훨씬 높았습니다. 반면, 가공되지 않은 데이터나 강한 감정에 의존하는 논증은 맥락과 관계없이 '편향됨'으로 분류될 가능성이 높았습니다.

이 패턴은 인간의 언어를 평가하는 방식에 대한 더 깊은 문제를 시사합니다. 이 연구는 현재의 편향 탐지 기준이 중립적이지 않다는 점을 시사합니다. 이 기준들은 형식 논리와 제도적 지위를 중시하는 특정한 논증 스타일에 맞춰져 있는 듯합니다. 화자가 서사나 감정적 호소를 사용할 때, 시스템은 전체 이야기를 접하지 못하면 이를 이해하는 데 어려움을 겪습니다. 이러한 맥락이 없다면, 이러한 유효한 형태의 추론들은 불분명하거나 불공정한 것으로 치부될 위험이 있습니다. 연구는 만약 우리가 편향을 찾기 위해 자동화된 도구나 경직된 규칙에 너무 과도하게 의존한다면, 사람들이 자신에게 자연스러운 방식으로 말한다는 이유로, 특히 그 방식이 지배적인 공식 스타일과 다르다는 이유로 실수로 그들을 처벌하게 될 수 있다고 지적합니다.

이 연구 결과가 모든 자동화된 시스템이 고장 났다거나 모든 감정적 논증이 완벽하다는 것을 증명하는 것은 아닙니다. 대신, 이 연구는 우리가 사용하는 판단 도구가 우리에게 입력되는 정보에 민감하게 반응한다는 점을 시사합니다. 진공 상태에서 내려진 판단은 상황에 대한 이해를 바탕으로 한 판단보다 신뢰도가 떨어지기 마련입니다. 이 연구는 논증의 공정성을 확보하기 위해서는 단순히 논리적 오류를 체크하는 것을 넘어, 화자의 사회적 위치, 대화의 유형, 그리고 그들이 자신의 주장을 뒷받침하기 위해 사용하는 자원 등에 주목해야 함을 강조합니다. 이러한 요소들을 무시함으로써, 우리는 특정 종류의 목소리만 들리고 다른 목소리들은 조용히 결함이 있는 것으로 낙인찍히는 시스템을 만들 위험이 있습니다.

궁극적으로 이 연구는 대화의 맥락이 단순한 배경 소음이 아니라, 말해지는 내용의 의미를 이해하는 데 필수적이라는 사실을 상기시켜 줍니다. 의회든, 법정이든, 혹은 온라인 포럼이든, 논증을 판단하는 방식은 우리가 얼마나 많은 이야기를 들을 용의가 있는지에 달려 있습니다. 만약 우리가 논증적 불의를 피하고자 한다면, 진실은 엄격한 논리적 템플릿에 들어맞는 형태뿐만 아니라 다양한 형태로 존재할 수 있음을 인식할 수 있도록 우리의 편향 탐지 방식이 충분히 유연해질 수 있도록 해야 합니다. 연구는 더 공정한 평가로 가는 길은 누가 논쟁하고 있으며 그들이 어떻게 논쟁하는지가 그들이 선택한 단어만큼이나 중요하다는 점을 인정하는 데 있다고 결론짓습니다.