💻 컴퓨터 과학

Aesthetics Prediction of Websites using Federated Learning

이 논문은 5개 인구 통계 그룹의 개별 사용자 선호도를 통합하여 웹사이트 인터페이스 미학을 예측하기 위해 EfficientNet-B0를 사용하는 연합 학습 기반 접근 방식을 제안하며, 중앙 집중식 데이터 수집 및 평균 평점의 한계를 극복하면서 0.0534라는 유망한 평균 제곱 오차(MSE)를 달성하였다.

원저자: Ranjan Maity, Jahnavi Roy, Rahul Son Boro, Deepali Borgayary

게시일 2026-10-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ranjan Maity, Jahnavi Roy, Rahul Son Boro, Deepali Borgayary

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

우리는 디지털 화면의 외관이 그 기능만큼이나 중요한 세상에 살고 있습니다. 사용자가 웹사이트나 앱에서 단 한 마디의 글자를 읽기도 전에, 인간의 뇌는 이미 그것이 매력적인지 아니면 불쾌한지에 대한 의견을 형성합니다. 눈 깜빡임보다 짧은 순간에 이루어지는 이 찰나의 판단은 사용자가 계속 머물며 탐색할지, 아니면 즉시 떠날지를 결정할 수 있습니다. 디자이너들에게 이는 어려운 과제입니다. 아름다움은 매우 개인적이기 때문입니다. 어떤 사람이 우아하다고 느끼는 것을 다른 사람은 번거롭거나 지루하다고 느낄 수 있습니다. 전통적으로 이러한 선호도를 이해하기 위해 연구자들은 수천 명의 사람들을 모아 이미지를 평가하게 한 뒤, 그 점수들을 평균하여 '일반적인' 의견을 찾아냈습니다. 하지만 이 방식에는 결함이 있습니다. 모든 사람의 취향을 하나의 숫자로 혼합함으로써 개인의 고유한 선호도를 지워버린다는 점입니다. 이는 학생, 직장인, 은퇴자가 세상을 같은 방식으로 본다고 가정하는 것인데, 이는 결코 사실이 아닙니다. 게다가, 이 모든 개인적인 평점을 하나의 중앙 데이터베이스로 수집하는 것은 사용자가 자신의 사적인 의견을 중앙 기관에 넘겨야 한다는 점에서 개인정보 보호 문제를 야기합니다.

인도 코크라자르에 위치한 중앙 기술 연구소(Central Institute of Technology)의 연구팀은 개인의 취향을 존중하면서도 프라이버시를 침해하지 않는 새로운 종류의 시스템을 구축함으로써 이 문제들을 해결하고자 했습니다. 그들은 연합 학습(Federated Learning)이라 불리는 방법을 제안했는데, 이는 컴퓨터가 사용자의 기기에서 데이터를 이동시키지 않고도 데이터를 통해 학습할 수 있게 해주는 기술입니다. 모든 평점을 하나의 거대한 더미로 모으는 대신, 이 시스템은 스마트한 컴퓨터 프로그램을 사용자의 기기로 보냅니다. 프로그램은 각 기기에 저장된 평점으로부터 학습하며, 오직 학습된 결과물인 '수학적 조정값'만이 중앙 서버로 전송됩니다. 가공되지 않은 원본 평점, 즉 개인의 의견은 사용자의 전화기나 컴퓨터를 절대 떠나지 않습니다. 이 아이디어를 테스트하기 위해 연구진은 100개의 웹사이트 인터페이스 데이터셋을 만들었으며, 여기에는 정부 포털부터 쇼핑 앱에 이르기까지 50가지 서로 다른 사이트의 데스크톱 및 모바일 버전이 모두 포함되었습니다. 그 후 100명의 사람에게 이 화면들을 1점에서 10점 척도로 평가하도록 요청했습니다. 참가자들은 연령, 성별, 직업이 다양하게 구성되어 폭넓은 관점을 확보했습니다.

연구진은 먼저 시각적 아름다움을 인식하는 무거운 작업을 수행할 최적의 '컴퓨터 뇌'를 찾아야 했습니다. 그들은 인간의 눈이 이미지를 처리하는 방식을 모방하도록 설계된 복잡한 시스템인 세 가지 서로 다른 딥러닝 모델을 테스트했습니다. 광범 والا한 실험을 거친 끝에, 연구진은 EfficientNet-B0라고 불리는 모델이 가장 효과적이라는 것을 발견했습니다. 이 모델은 빠르고 계산 자원을 적게 소모하면서도 가장 정확한 예측을 생성했습니다. 그러나 진정한 혁신은 인간적인 요소를 다루는 방식에 있었습니다. 연구팀은 사람들이 평가 척도를 사용하는 방식이 저마다 다르다는 점을 깨달았습니다. 어떤 사람들은 모든 것에 높은 점수를 주는 경향이 있는 반면, 어떤 이들은 본래 더 비판적입니다. 이를 해결하기 위해 그들은 컴퓨터가 학습하기 전에 각 개인의 평점을 조정하는 방법을 개발했습니다. 그들은 특정 개인이 집단 평균과 비교하여 보통 어떻게 점수를 매기는지를 계산하고, 그에 따라 점수를 이동시켰습니다. 이를 통해 컴퓨터는 단순히 관대하거나 혹독한 경향을 배우는 것이 아니라, 한 개인의 선호도가 가진 진정한 형태를 학습할 수 있었습니다.

이 접근 방식이 실제 환경에서 작동하는지 확인하기 위해, 연구진은 100명의 참가자를 성별과 직업에 따라 다섯 개의 뚜렷한 그룹으로 나누었습니다: 여성 비경제활동 인구, 여성 학생, 여성 직장인, 남성 학생, 그리고 남성 직장인입니다. 각 그룹은 연합 학습 시스템 내에서 별도의 '클라이언트' 역할을 했습니다. 중앙 서버는 초기 EfficientNet-B0 모델을 각 그룹에 보냈습니다. 각 그룹은 자신들의 로컬 데이터를 바탕으로 모델을 훈련시켜, 자신들의 특정 인구 통계적 특성이 무엇을 아름답다고 느끼는지 학습했습니다. 훈련이 완료되면 각 그룹은 업데이트된 모델 가중치를 서버로 보냈습니다. 서버는 이 업데이트들을 결합하여 다섯 그룹의 미묘한 차이를 이해하는 더 똑똑한 '글로벌 모델'을 만들어냈습니다. 이 과정은 33라운드 동안 반복되었습니다. 이 과정 전체를 통틀어 시스템은 원본 평점을 전혀 보지 못했으며, 오직 각 그룹이 만든 수학적 개선 사항만을 보았습니다.

결과는 이러한 프라이버시 보호 접근 방식이 매우 효과적임을 보여주었습니다. 최종 모델은 매우 낮은 오차율을 달성했는데, 이는 웹사이트에 대해 사람이 느끼는 선호도에 대한 모델의 예측이 실제 사용자들이 준 평점과 매우 근접했음을 의미합니다. 이 시스템은 특히 여성 비경제활동 인구와 같이 취향이 유사한 그룹에서 매우 잘 작동했으며, 의견이 다양한 그룹에 대해서도 강력한 정확도를 유지했습니다. 결정적으로, 연구진은 웹사이트의 모바일 버전이 데스크톱 버전과 거의 동일하게 평가된다는 것을 발견했으며, 이는 시각적 매력의 원리가 다양한 화면 크기에서도 유효함을 시사합니다. 이 연구는 개인의 데이터를 중앙에 수집하지 않고도 다양한 사람들로부터 학습할 수 있는 시스템을 구축하는 것이 가능하다는 것을 입증했습니다. 영리한 수학적 평점 조정을 통해 단일 글로벌 모델을 적응시킴으로써, 이 시스템은 배경에 상관없이 누구에게나 개인화된 미적 예측을 제공할 수 있습니다. 이 작업은 사용자 인터페이스 디자인의 미래가 아름다움을 이해할 만큼 똑똑할 뿐만 아니라, 개인의 선호를 사생활로서 존중할 만큼 정중한 시스템에 의존할 수 있음을 시사합니다.

기술 요약: 연합 학습을 이용한 웹사이트 미적 가치 예측

문제 정의
사용자 인터페이스(UI)의 시각적 미학은 사용자 만족도와 참여도에 결정적인 역할을 하지만, 미적 지각은 연령, 성별, 직업과 같은 요인으로 인해 개인마다 크게 달라지는 본질적으로 주관적인 특성을 지닌다. 기존의 미적 가치 예측 방식은 일반적으로 중앙 집중식 데이터 수집에 의존하며, 인구 통계학적 평균치를 산출하기 위해 단일한 "평균" 미적 점수를 생성한다. 이러한 방법론은 개인 간의 변동성을 설명하지 못하며 개인의 선호도를 무시한다. 또한, 설문조사나 휴리스틱 평가와 같은 전통적인 방식은 시간이 많이 소요되고 규모를 키우기 어려우며 인간의 편향이 개입되기 쉽다. 딥러닝 모델이 이미지 미적 평가에서 유망한 성과를 보여왔으나, 개인정보를 보호하거나 거대한 중앙 집중식 데이터셋을 요구하지 않으면서 다양한 사용자 그룹 간의 비독립적 동일 분포(Non-IID) 특성을 처리할 수 있는 메커니즘은 일반적으로 부족하다.

방법론
저자들은 연합 학습(Federated Learning, FL)을 이용한 개인화된 UI 미적 가치 예측을 위한 개인정보 보호 프레임워크를 제안한다. 방법론은 다음 단계로 진행된다:

데이터셋 구축:
- 10개 영역(예: 정부, 이커머스, 뉴스 등)에 걸친 100개의 웹사이트 인터페이스를 포함하는 맞춤형 데이터셋을 제작하였다. 여기에는 50개의 데스크톱 버전과 50개의 모바일 버전이 포함된다.
- 스크린샷은 표준 해상도(데스크톱 1920x1080, 모바일 640x1136)로 캡처되었다.
- 100명의 참가자가 10점 리커트 척도(Likert scale)를 사용하여 이 100개의 인터페이스를 평가하였다. 순서 편향을 완화하기 위해 라틴 방격법(Latin Square method)이 채택되었다.
- 대응 표본 t-검정(paired t-test)을 통한 통계 분석 결과, 데스크톱과 모바일 버전 간의 미적 점수 차이가 유의미하지 않음( $p > 0.05$ )이 확인되어 이를 통합 데이터셋으로 취급할 수 있었다.
기반 모델 선정:
- 세 가지 아키텍처(EfficientNet-B0, ResNet-50, Vision Transformer (ViT-B/16))를 평가하였다.
- EfficientNet-B0는 우수한 성능, 낮은 계산 비용, 적은 파라미터 수를 바탕으로 엣지 배포에 적합하여 기반 모델로 선정되었다.
- 모델은 마지막 분류 레이어를 연속적인 미적 점수를 예측하는 단일 선형 유닛으로 교체하여 회귀 분석용으로 조정되었다.
데이터 전처리 및 개인화:
- 이미지 전처리: 입력 이미지는 224x224 크기로 조정되었으며, 가벼운 무작위 뒤집기, 회전, 색상 지터링(color jitter)을 적용하고 ImageNet 통계치를 사용하여 정규화되었다.
- 점수 정규화 (핵심 기여): 주관성 문제를 해결하기 위해 사용자별 정규화 전략을 구현하였다. 원시 점수는 사용자의 평균 점수 경향성을 제거하고 글로벌 평균을 중심으로 재중심화( $r_{centered} = r_{raw} - \mu_u + \mu_g$ )하여 조정되었다. 이후 이 값들은 [0, 1] 구간으로 Min-Max 스케일링되었다. 이를 통해 모델은 절대적인 점수가 아닌 상대적인 선호도를 학습할 수 있다.
연합 학습 아키텍처:
- 클라이언트: 100명의 사용자는 성별과 직업의 교차점에 따라 5개의 인구통계학적 클라이언트로 그룹화되었다 (여성 비경제활동 인구, 여성 학생, 여성 직장인, 남성 학생, 남성 직장인).
- 알고리즘: 연합 평균(Federated Averaging, FedAvg) 알고리즘이 사용되었다. 중앙 서버는 ImageNet-1K로 사전 학습된 가중치를 가진 글로벌 EfficientNet-B0 모델을 초기화한다.
- 학습 과정: 각 통신 라운드에서 서버는 글로벌 EfficientNet-B0 모델을 5개의 클라이언트에 배포한다. 각 클라이언트는 자신의 특정 인구통계 데이터를 사용하여 1 에포크(epoch) 동안 로컬 학습을 수행한다. 원시 데이터가 아닌 업데이트된 모델 가중치만이 서버로 전송된다.
- 집계: 서버는 학습 샘프 수에 비례하여 클라이언트 가중치의 가중 평균을 계산하여 글로벌 모델을 업데이트한다.
- 하이퍼파라미터: 학습에는 AdamW 옵티마이저( $1 \times 10^{-4}$ 학습률), 평균 제곱 오차(MSE) 손실 함수, 자동 혼합 정밀도(AMP)가 사용되었다. 검증 손실이 10회 연속 개선되지 않으면 조기 종료(early stopping)가 트리거된다.

주요 결과

수렴: 글로벌 모델은 33회의 통신 라운드 후에 수렴하였다. 검증 MSE는 1라운드의 0.0702에서 최종 0.0534(정규화된 [0, 1] 척도 기준)로 감소하였다.
성능 지표: 최종 모델은 RMSE 0.2312 및 MAE 0.1837를 달 기록하였다.
클라이언트별 변동: 성능은 인구통계학적 그룹에 따라 차이를 보였으며, 이는 내부 선호도의 다양성을 반영한다. "여성 비경제활동 인구" 그룹이 가장 낮은 오차(MSE = 0.0169)를 기록한 반면, "여성 직장인" 그룹이 가장 높은 오차(MSE = 0.0890)를 보였다. 저자들은 내부 다양성이 높은 그룹이 자연스럽게 더 높은 오차율을 나타낸다고 언급하였다.
오차 분포: 예측 오차는 0을 중심으로 대략 정규 분포를 따랐으며, 대부분의 오차는 정규화된 척도 기준 $\pm0.15$ (원래 1~10 척도 기준 약 $\pm1.35$ 포인트) 내에 존재하였다.

의의 및 주장
본 논문은 FedAvg, EfficientNet-B0 백본, 그리고 사용자 적응형 점수 정규화 파이프라인을 사용하는 개인화된 UI 미적 가치 예측 프로토콜을 제시한다. 이 시스템은 학습 과정을 5개의 인구통계학적 클라이언트 그룹으로 분산시켜 원시 사용자 점수 데이터가 로컬 장치를 떠나지 않도록 보장한다. 저자들은 단일 글로벌 모델이 중앙 집중식 데이터 풀링 없이도 다양한 사용자에게 효과적으로 서비스될 수 있음을 입증하였다. 개인화는 별도의 로컬 모델을 유지하는 대신, 점수 변환 파이프라인(사용자 평균 중심화 및 인구통계학적 그룹 편향 재주입)을 통해 이루어진다.

그러나 저자들은 한 가지 두드러진 한계를 명시적으로 인정하였다: 글로벌 모델은 데이터셋의 평균(정규화된 0~~1 척도 기준 약 0.5~~0.6) 근처에 집중된 점수를 예측하는 경향이 있다. 현재 시스템은 개인화를 위해 오직 점수 변환 파이프라인에만 의존하며, 연합 학습 이후 클라이언트별 미세 조정(fine-tuning)이나 로컬 헤드(local head) 개인화를 수행하지 않는다.

한계점
저자들은 글로벌 모델이 데이터셋의 평균(정규화된 0~~1 척도 기준 약 0.5~~0.6) 근처에 집중된 점수를 예측하는 경향이 있다는 한계를 겸허히 인정하였다. 현재의 구현은 개인화를 위해 오로지 점수 변환 파이프라인에만 의존하며, 연합 학습 이후 클라이언트별 미세 조정이나 로컬 헤드 개인화를 수행하지 않는다.

유사한 논문