🤖 AI

Gaze patterns predict preference and confidence in pairwise AI image evaluation

Este estudo demonstra que os padrões de olhar, incluindo o efeito de cascata e a frequência de transições entre imagens, conseguem prever tanto a escolha preferencial quanto o nível de confiança dos participantes na avaliação de pares de imagens geradas por IA, sugerindo que o rastreamento ocular fornece sinais implícitos valiosos para a qualidade das anotações de preferência.

Autores originais: Nikolas Papadopoulos, Shreenithi Navaneethan, Sheng Bai, Ankur Samanta, Paul Sajda

Publicado 2026-03-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nikolas Papadopoulos, Shreenithi Navaneethan, Sheng Bai, Ankur Samanta, Paul Sajda

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma loja de arte e precisa escolher entre duas pinturas geradas por um computador. Você olha para a primeira, depois para a segunda, pensa um pouco e diz: "Eu gosto mais desta".

Até agora, os cientistas que ensinam Inteligência Artificial (IA) a entender o que os humanos gostam (usando técnicas como RLHF e DPO) só recebiam essa resposta final: "Gostei da A". Eles não sabiam como você chegou a essa conclusão. Será que você tinha certeza absoluta? Ou estava apenas chutando? Será que você olhou para a pintura A o tempo todo, ou ficou indeciso olhando de um lado para o outro?

Este estudo da Universidade de Columbia decidiu investigar essa "caixa preta" da decisão humana usando rastreamento ocular (olhar para onde os olhos das pessoas estão olhando).

Aqui está a explicação do que eles descobriram, usando analogias simples:

1. O "Efeito Cascata" (A Decisão Já Está no Olhar)

Os pesquisadores descobriram algo fascinante: nossos olhos "traem" nossa escolha antes mesmo de nossa mente decidir.

Imagine que você está escolhendo entre dois caminhos numa trilha. Você começa olhando para ambos com a mesma intensidade. Mas, cerca de um segundo antes de você apontar para o caminho certo, seus olhos começam a "grudar" naquela direção, como se fossem atraídos por um ímã.

A Analogia: Pense em um jogador de basquete que vai fazer uma cobrança de livre. Nos segundos finais, ele foca intensamente na cesta. Da mesma forma, antes de clicar no botão "Escolher Imagem A", os olhos da pessoa já passaram a maior parte do tempo olhando para a Imagem A. Isso acontece mesmo que a pessoa não perceba que está fazendo isso.

2. Prever a Escolha (O Olhar Conta a História)

Os cientistas usaram um computador para analisar esses movimentos oculares e tentar adivinhar qual imagem a pessoa escolheria.

O Resultado: O computador acertou a escolha em 68% das vezes apenas olhando para os dados dos olhos.
O Segredo: As imagens escolhidas receberam mais "tempo de olhar" (dwell time), mais "piscadas de atenção" (fixações) e foram visitadas mais vezes.
A Analogia: É como se você estivesse em um restaurante e, em vez de pedir o prato, apenas observasse o garçom. Se você olhar para o prato X por 5 segundos, depois para o Y por 2, e voltar para o X por mais 3, o garçom (ou o computador) sabe que você vai pedir o X, mesmo antes de você falar.

3. Prever a Confiança (A Dança dos Olhos)

Aqui está a descoberta mais interessante sobre a segurança da decisão. O estudo mostrou que é possível saber se você está certo ou indeciso apenas olhando para como seus olhos se movem.

Decisão Segura: Quando a pessoa tem certeza, os olhos vão para a imagem escolhida e ficam lá. É um movimento fluido.
Decisão Incerta: Quando a pessoa está em dúvida, os olhos ficam "dançando" ou "saltando" freneticamente entre as duas imagens, como um pingue-pongue rápido.
A Analogia: Imagine dois amigos discutindo qual filme assistir.
- Se um amigo tem certeza, ele aponta para o filme e diz: "Vamos ver este!".
- Se ele está inseguro, ele fica apontando para um, depois para o outro, depois para o primeiro, depois para o segundo, repetidamente, como se estivesse tentando decidir.
- O estudo descobriu que quanto mais rápido os olhos pulam de uma imagem para a outra, menos confiança a pessoa tem na escolha.

Por que isso é importante para o futuro?

Hoje, quando ensinamos IAs a criar imagens ou textos, usamos milhares de pessoas para fazer essas escolhas. Mas nem todas as escolhas são iguais. Algumas são feitas com certeza, outras são chutes.

Este estudo sugere que, no futuro, poderíamos usar os dados dos olhos para:

Dar mais peso às opiniões seguras: Se a IA "sabe" que você estava confiante (porque seus olhos não pularam tanto), ela pode aprender mais com sua escolha do que com uma escolha feita com dúvida.
Filtrar erros: Se os olhos mostram muita indecisão, o sistema pode descartar aquela resposta ou pedir para outra pessoa revisar, melhorando a qualidade do treinamento da IA.

Resumo em uma frase

Este estudo provou que nossos olhos contam a história completa da nossa decisão antes mesmo de nós falarmos a resposta, revelando não apenas o que escolhemos, mas também o quão certos estamos sobre essa escolha.

1. Problema e Motivação

O alinhamento de sistemas de Inteligência Artificial (IA) com valores humanos depende cada vez mais de métodos de aprendizado de preferência, como Reinforcement Learning from Human Feedback (RLHF) e Direct Preference Optimization (DPO). Esses métodos baseiam-se fundamentalmente em julgamentos binários de preferência (escolha entre duas opções) fornecidos por humanos.

No entanto, existem lacunas críticas nesse processo:

Processo Cognitivo Oculto: Os pipelines de aprendizado observam apenas a escolha final, ignorando o processo cognitivo que a gerou. A mesma etiqueta de preferência pode resultar de uma deliberação confiante ou de um palpite incerto.
Limitações das Anotações Atuais: Dados de confiança autorrelatados são frequentemente descartados durante o treinamento ou não capturam totalmente a dinâmica cognitiva subjacente.
Falta de Contexto em IA Generativa: Embora o rastreamento ocular (eye-tracking) tenha sido estudado em tarefas de texto, pouco se sabe sobre como os padrões de olhar revelam a formação de preferências na avaliação simultânea de imagens geradas por IA, onde os avaliadores devem integrar múltiplos critérios (alinhamento ao prompt, estética, coerência, artefatos).

O objetivo deste estudo é investigar se o rastreamento ocular pode revelar a formação de preferências e a confiança durante a avaliação de imagens geradas por IA em pares simultâneos.

2. Metodologia

Configuração Experimental:

Tarefa: Os participantes realizaram uma tarefa de avaliação de imagem em pares, espelhando fluxos de trabalho RLHF/DPO. Eles visualizaram um prompt de texto e duas imagens geradas por IA simultaneamente, indicando sua preferência (setas esquerda/direita) e, em seguida, classificando sua confiança (baixa, média, alta).
Participantes: 30 indivíduos (idade média de 24,7 anos) completaram 1.800 ensaios no total (60 ensaios cada).
Estímulos: Um conjunto de 150 pares prompt-imagem, derivados de fontes de código aberto (Open-image-preferences, Rapidata) e pares gerados sob medida com prompts complexos. As imagens foram geradas por modelos como FLUX.1, Stable Diffusion 3, DALL-E 3 e Midjourney.
Equipamento: Os dados oculares foram registrados usando um Tobii Pro Fusion a 250 Hz. A precisão da calibração foi verificada em tempo real.

Processamento de Dados:

Algoritmo: Fixações foram extraídas usando o algoritmo I-DT (Dispersion-Threshold Identification).
Áreas de Interesse (AOIs): Mapeamento para três regiões: imagem esquerda, imagem direita e região do prompt.
Recursos (Features): Foram extraídos 23 recursos de olhar divididos em cinco categorias: métricas por AOI (tempo de permanência, contagem de fixações), comparações entre imagens, marcadores temporais, transições de olhar e variabilidade das fixações.

Análises Estatísticas:

Efeito Cascata: Análise da probabilidade de fixação na imagem escolhida ao longo do tempo (janela de 4 segundos antes da decisão), ajustando modelos sigmoidais e lineares por partes.
Predição: Uso de regressão logística, Random Forest e XGBoost com validação cruzada em 5 grupos (por participante) para prever a escolha binária e o nível de confiança.

3. Contribuições Principais

O estudo apresenta três contribuições fundamentais:

Validação Cognitiva: Demonstra que o "efeito cascata de olhar" (gaze cascade effect) se estende à avaliação de imagens de IA. O olhar desvia-se progressivamente para a imagem escolhida cerca de 1 segundo antes da decisão comportamental.
Predição de Preferência: Recursos de olhar preveem a escolha binária com precisão acima do acaso (68%), indicando que informações sobre a preferência estão presentes durante todo o processo de decisão (mais tempo de permanência, fixações e revisitas na imagem escolhida).
Predição de Confiança: A taxa de transição de olhar (quantas vezes o olhar alterna entre as imagens) prevê a confiança na decisão com 66% de precisão. Decisões de baixa confiança envolvem trocas mais frequentes entre as opções, enquanto a dinâmica da cascata permanece inalterada entre os níveis de confiança.

4. Resultados Detalhados

Efeito Cascata:

A análise temporal mostrou que o olhar começa distribuído uniformemente (~50%) e desvia-se para a imagem escolhida na última segunda antes do clique.
O modelo sigmoidal ajustou-se perfeitamente aos dados ( $R^2 = 0,98$ ). No momento da decisão, os participantes fixaram na imagem escolhida cerca de 80% do tempo.
Confiança: Não houve diferenças estatisticamente significativas na dinâmica da cascata (inclinação, ponto de inflexão) entre ensaios de alta, média e baixa confiança. O mecanismo de formação de preferência parece estável independentemente da certeza do decisor.

Predição de Escolha (Esquerda vs. Direita):

Com todos os recursos, a regressão logística atingiu 75,1% de precisão.
A localização da última fixação foi o recurso mais importante (7x mais que outros), atingindo 76% de precisão isoladamente.
Ao excluir a última fixação, a precisão caiu para 67,6%, mas ainda foi significativamente superior à linha de base (50%). Isso confirma que padrões de olhar favoráveis à imagem escolhida se desenvolvem ao longo de todo o ensaio, não apenas no final.
Estatísticas: Imagens escolhidas tiveram maior tempo de permanência (2,30s vs 2,13s), mais fixações (10,7 vs 9,7) e mais revisitas (3,3 vs 2,9) com significância estatística ( $p < 0,001$ ).

Predição de Confiança:

O recurso mais forte para prever confiança foi a taxa de transição entre as imagens (precisão de 66,1%).
Ensaios de baixa confiança apresentaram taxas de transição significativamente maiores (0,38 transições/segundo) comparados a média (0,34) e alta (0,31).
Isso sugere que a incerteza se manifesta como uma exploração mais frequente (alternância rápida) entre as opções, e não necessariamente como um tempo de deliberação mais longo.

5. Significado e Implicações

Para Alinhamento de IA:

Sinais Implícitos: O estudo prova que o rastreamento ocular fornece sinais implícitos sobre a qualidade das anotações de preferência.
Filtragem de Dados: A capacidade de prever a confiança apenas com base no movimento ocular permite identificar e filtrar julgamentos incertos (ruídos) dos conjuntos de dados de treinamento, potencialmente melhorando a eficiência do RLHF/DPO.
Ponderação de Anotações: Sugere-se que as anotações de alta confiança (inferidas pelo olhar) poderiam receber maior peso no treinamento de modelos de recompensa.

Limitações e Futuro:

O estudo combinou "baixa" e "média" confiança em uma única categoria "incerta" para balancear os dados, perdendo granularidade.
A análise focou em padrões agregados de imagem, sem examinar regiões específicas (ex: artefatos visuais).
A integração prática em pipelines de RLHF ainda é um desafio, especialmente considerando que a precisão de predição de preferência (68%) é moderada e o efeito cascata ocorre muito perto da resposta final.

Conclusão:
Este trabalho estabelece uma base para a coleta de dados de preferência informada pelo olhar no alinhamento de IA, demonstrando que os padrões oculares capturam tanto o que as pessoas preferem quanto quão confiantes elas estão nessas preferências, oferecendo uma nova dimensão para a validação e melhoria de dados de treinamento de modelos generativos.