💬 NLP

LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation

이 논문은 성별 포괄적 재작성을 위한 LoRA 미세 조정과 반대 서사 생성을 위한 PCA 유도 주성분 방향 기반의 계산 효율적인 활성화 스티어링 기술을 결합하여 높은 점수를 달elle면서도 의미 드리프트 및 편향 누출과 같은 주요 한계를 분석하는 LT-EDI 2026 공유 태스크를 위한 IHLC 시스템을 소개한다.

원저자: Akhil Rajeev P, Manoj Balaji J

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Akhil Rajeev P, Manoj Balaji J

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 인터넷상의 거의 모든 책을 읽은, 매우 똑똑하고 박학다식한 로봇과 대화하고 있다고 상상해 보세요. 이 로봇은 이야기 쓰기와 질문에 답하기를 아주 잘하지만, 한 가지 문제가 있습니다. 바로 인간의 책들로부터 학습했기 때문에, 그 책들 속에 담긴 구식이고 불공평한 생각들을 가끔 그대로 가지고 있다는 점입니다. 만약 당신이 로봇에게 "fireman(소방수)"에 대해 써달라고 요청하면, 로bot은 더 나은 표현인 "firefighter(소방관)" 대신 그 단어를 고집스럽게 사용할 수도 있습니다. 또한 만약 당신이 "여자는 수학을 못 한다"와 같은 못된 문장에 반박해 달라고 요청한다면, 로봇은 실수로 그 못된 생각에 동조하거나 너무 기계적인 말투로 답할 수도 있습니다. 이것이 바로 인공지능(AI)과 자연어 처리(NLP)의 세계이며, 과학자들이 컴퓨터가 더 공정하고 포용적인 언어를 구사하도록 가르치려고 노력하는 분야입니다. 큰 과제는 로봇의 뇌 전체를 처음부터 다시 만들지 않고도, 로봇이 자연스럽게 친절하고 중립적인 단어를 선택하도록 뇌를 미세하게 조정하는 방법을 찾아내는 것입니다.

이 논문에서 IHLC라는 연구팀은 LT-EDI 2026이라는 특별한 경진대회를 위해 이 문제를 해결하고자 했습니다. 그들은 두 가지 주요 과제에 집중했습니다. 첫째는 편향된 문장을 공정하게 재작성하는 것(예: "fireman"을 "firefighter"로 바꾸는 것)이었고, 둘째는 못되거나 편향된 진술에 대해 예의 바르고 설득력 있는 응답인 "카운터 내러티브(counter-narrative)"를 만드는 것이었습니다. 첫 번째 과제를 위해 그들은 LoRA라고 불리는 표준적인 방법을 사용했는데, 이는 로봇에게 새로운 규칙을 빠르게 배울 수 있도록 돕는 작은 전문 '컨닝 페이퍼'를 주는 것과 같습니다. 하지만 두 번째 과제를 위해 그들은 훨씬 더 실험적이고 영리한 방식인 '액티베이션 스티어링(Activation Steering, 활성화 조향)'을 시도했습니다.

로봇의 뇌를 수천 개의 톱니바퀴가 돌아가는 거대하고 복잡한 기계라고 생각해 보세요. 보통 이 기계의 작동 방식을 바꾸려면 기계를 분해해서 톱니바퀴를 교체해야 합니다(이를 '파인 튜닝'이라고 합니다). 하지만 연구자들은 이렇게 물었습니다. "만약 기계가 돌아가고 있는 동안 살짝 밀어주는 것만으로도 가능하지 않을까?" 그들은 못된 문장에 대한 로봇의 뇌 반응과 친절한 문장에 대한 반응을 비교함으로써 특정 '밀어주는 방향'을 찾아냈습니다. 그들은 두 반응 사이의 차이를 계산하여 '스티어링 벡터(steering vector)'를 만들었는데, 이는 마치 로봇의 생각을 친절함과 포용성 쪽으로 밀어붙이는 자기력과 같습니다. 그들은 로봇의 원래 톱니바퀴를 하나도 바꾸지 않은 채, 로봇이 글을 쓰는 동안 이 힘을 로봇의 뇌에 주입했습니다.

결과는 성공과 흥미로운 오류가 섞여 있었습니다. 단순 재작성 과제의 경우, 그들의 시스템은 매우 우수한 성적을 거두며 9개 팀 중 3위를 차지했습니다. 더 어려운 과제인 카운터 내러티브 작성에서는 7개 팀 중 6위를 기록했습니다. 이 시스템은 예의를 갖추고 맥락을 이해하는 데는 뛰어났지만, 때때로 '밀어주는 힘'에 너무 과하게 반응했습니다. 스티어링을 너무 강하게 밀어붙이면 로봇이 말을 반복하거나, 단어들을 서로 붙여버리거나(예: "exhibitimpulsiveness"), 직접적인 답변 대신 긴 강연을 늘어놓으며 원래의 의미에서 벗어나 버리는 현상이 나타났습니다.

연구자들은 이 '밀어주는' 방식이 AI를 더 포용적으로 만드는 강력하고 효율적인 방법이지만, 완벽하지는 않다는 것을 발견했습니다. 이 방식은 때때로 원래의 편향을 미세하게 남겨두거나, 문장을 너무 많이 바꾸어 원래의 맛을 잃게 만들기도 합니다. 그들은 향에 따라, 미래에는 로봇의 답변이 공정하면서도 원래 질문에 충실할 수 있도록 이 '밀어주는 방식'을 다른 도구들과 결합해야 할 수도 있다고 제안합니다. 이는 AI를 더 친절한 대화 상대로 만들기 위한 유망한 단계이지만, 부드럽게 밀어주는 것만으로는 충분하지 않으며 적절한 수준을 맞추기 위해 세심한 안내가 여전히 필요하다는 것을 보여줍니다.

기술 요약: LT-EDI 2026의 IHLC

문제 정의
본 논문은 LT-EDI 2026 공유 태스크의 핵심 목표인 성중립적 언어 생성 및 편향된 진술에 대한 반론(counter-narratives) 생성을 다룹니다. 과제는 두 가지 서브태스크로 나뉩니다: (A) 의미를 보존하면서 성별이 드러나거나 편향된 문장을 성중립적인 변형으로 재작성하는 것, (B) 노골적으로 편향된 진술에 대해 공감적이고 설득력 있는 반론을 생성하는 것입니다. 저자들은 표준적인 미세 조정(fine-tuning)이 효과적이긴 하지만, 특히 공손함, 일관성, 사실적 교정의 균형을 맞추는 것이 복잡한 반론 생성 단계에서 비용이 많이 드는 가중치 업데이트 없이 모델의 행동을 조정할 수 있는 계산 효율적인 방법이 필요하다고 언급합니다.

방법론
IHLC 제출물은 Gemma-3-4B-it 모델을 기반으로 하여 두 서브태스크에 대해 서로 다른 전략을 채택했습니다.

서브태스크 A (성중립적 재작성): 팀은 표준 LoRA(Low-Rank Adaptation) 미세 조정을 활용했습니다. 이 접근 방식은 편향된 문장과 중립적인 문장의 병렬 데이터셋을 통해 모델이 편향된 용어와 포괄적인 용어 사이의 직접적인 매핑을 학습하도록 하는 과정을 포함합니다.
서브태스크 B (반론 생성): 본 논문의 핵심 기여는 **제약 조건이 있는 프롬프팅(constrained prompting)**과 결합된 계산 효율적인 활성화 스티어링(activation-steering) 접근법입니다.
- 활성화 스티어링 (Activation Steering): 표현 공학 프로토콜(Zou et al., 2023; Turner et al., 2023)에 기초하여, 저자들은 편향된 문장과 그에 대응하는 중립적 반사실적(counterfactual) 문장 사이의 은닉 활성화(hidden activations) 차이 벡터에 대한 주성분 분석(PCA)을 수행하여 스티어링 방향을 도출했습니다. 이 스티어링 벡터는 추론 과정 중 포워드 훅(forward hook)을 통해 모델의 특정 중간 레이어(Layer 16)에 주입되었습니다. 주입 강도는 계수 $\alpha$ 에 의해 제어되었습니다.
- 프롬프트 엔지니어링: 출력이 평가 기준을 충족하도록 시스템은 두 가지 프롬프트 템플릿을 사용했습니다. 유연하고 설명적인 출력을 위한 "DEI 프롬프트"와 자동화된 평가 모델에 의한 감점을 피하기 위해 결정론적이고 단일 행으로 구성된 출력을 위한 "Strict 프롬프트"가 그것입니다.
- 디코딩: 시스템은 텍스트 퇴보 및 루핑(looping) 현상을 완화하기 위해 그리디 디코딩(greedy decoding)과 낮은 온도의 샘플링 및 반복 페널티를 혼합하여 사용했습니다. 이는 스티어링 계수가 너무 높을 때 관찰된 현상입니다.

주요 결과
시스템은 LLM-as-a-judge와 인간의 감독이 결에는 하이브리드 프레임을 통해 평가되었습니다.

서브태스크 A: LoRA 기반 접근 방식은 **평균 점수 80.00%**를 달성하며 참여한 9개 팀 중 3위를 차지했습니다. 점수는 성별 가정 제거(GA), 성중립성(GN), 품질 및 관련성(QR) 전반에 걸쳐 일관되게 나타났습니다.
서브태스크 B: 활성화 스티어링 방법은 **평균 점수 78.12%**를 기록하며 참여한 7개 팀 중 6위를 차지했습니다.
- 강점: 시스템은 공손함 및 존중(PR: 84.89%)과 맥락적 반론 일관성(CCNC: 84.79%)에서 우수한 성과를 보였습니다.
- 약점: 품질 및 관련성(QR) 점수는 **64.68%**로 현저히 낮았으며, 이는 의미 보존 문제(semantic preservation)를 나타냅니다.

실패 모드 분석
47개의 출력물을 대상으로 한 수동 평가를 통해, 저자들은 활성화 스티어링 접근법에 내재된 다섯 가지 주요 실패 모드를 식별했습니다:

충실도-편집 간의 트레이드오프 (53%): 모델이 최소한의 편집을 수행하기보다 원래의 문장 구조를 경직되게 대체하는 경우가 많았습니다 (예: "과학"을 "STEM 분야"로 변경하거나, "모든 성별 정체성을 가진 사람들..."과 같은 표현으로 기본 설정됨). 이는 의미 영역(semantic domain)을 변화시켰습니다.
레이어별 민감도/얽힘 (23%): 단일 레이어에서의 스티어링은 개념을 깔끔하게 중립화하는 데 실패했으며, 종종 부정적인 특성을 관련이 있지만 여전히 편향된 개념으로 변환했습니다 (예: "순진함(naive)"이 "순수함과 취약성(innocence and vulnerability)"으로 변함).
잔류 편향 누출 (11%): 스티어링이 최종 토큰 표현에 의존하기 때문에, 초기 컨텍스트 토큰에 인코딩된 편향이 지속되어 대상은 중립화되었으나 해로운 전제는 유지되는 현상이 발생했습니다.
과도한 스티어링 불안정성 (9%): 높은 스티어링 계수는 모델이 입력의 구문 구조를 완전히 버리고 일반적인 사회적 논평으로 전환되게 만들었습니다.
반복 및 퇴보 (4%): 강한 섭동(perturbation)은 때때로 토큰 경계를 방해하여 단어가 합쳐지거나 텍스트가 루핑되는 현상을 초래했습니다.

의의 및 주장
본 논문은 자신의 연구를 성중립적 생성을 위한 활성화 스티어링의 가능성과 한계를 보여주는 사례로 규정합니다.

가능성: 이 방법은 전체 가중치 업데이트의 계산 비용 없이도 공정성 지표(PR 및 CCNC)에서 경쟁력 있는 결과를 달성하며, 공손하고 맥락에 맞는 반론을 성공적으로 생성합니다.
한한계: 저자들은 활성화 스티어링이 가중치 업데이트의 실행 가능한 대안이 될 수 있지만, 현재 의미 보존(QR) 측면에서 어려움을 겪고 있으며 불안정성을 피하기 위해 정밀한 튜닝이 필요하다고 겸허히 주장합니다. 또한 단일 레이어 스티어링은 잔류 편향 누출의 위험이 있으며, 현재 영어에 국한되어 있어 문화적 일반화가 제한적이라고 언급합니다.
향후 방향: 저자들은 향ere 개선을 위해 의미 보존 제약 조건(대조 손실 등)의 통합, 스티어링 방향에 대한 인간 참여형(human-in-the-loop) 캘리브레이션, 그리고 다국어 트랙으로의 확장이 필요하다고 제안합니다.

결론적으로, 본 논문은 활성화 스티어링이 편향 완화를 위한 경량 메커니즘을 제공하지만, 높은 원문 구조 충실도가 요구되는 경우 지시 미세 조정(Instruction Finetuning)과 같은 가중치 업데이트 방식의 완전한 대체제가 되기에는 아직 부족하다고 결론짓습니다.

기술 요약: LT-EDI 2026의 IHLC

유사한 논문