Locating and Editing Figure-Ground Organization in Vision Transformers

O artigo demonstra que a organização figura-fundo no modelo Vision Transformer BEiT, que favorece naturalmente a conclusão convexa, é resolvida abruptamente nas camadas finais e pode ser alterada para permitir conclusões côncavas através da modulação de uma única cabeça de atenção específica (L0H9).

O essencial

Imagine que você está olhando para um desenho abstrato. De um lado, ele parece um triângulo sólido e perfeito. Do outro, parece um "dardo" com um recorte na ponta. O seu cérebro tem que decidir: "Isso é um triângulo com um buraco ou um dardo?"

Na psicologia, isso é chamado de organização figura-fundo. Nosso cérebro humano tem um "vício" natural: tende a ver formas convexas (como bolinhas ou triângulos cheios) como objetos principais (a "figura") e as partes côncavas (as partes que "entraram" ou recuaram) como apenas o fundo.

Este artigo de pesquisa pergunta uma coisa fascinante: Os computadores (especificamente uma inteligência artificial chamada Vision Transformer) têm esse mesmo "vício"? E se tiverem, onde exatamente, dentro do "cérebro" da máquina, essa decisão é tomada?

Aqui está a explicação simples do que eles descobriram:

1. O Grande Desafio: O Dardo vs. O Triângulo

Os pesquisadores criaram um teste especial. Eles pegaram uma forma que poderia ser interpretada de duas maneiras:

• Visão Local (O Dardo): Olhando apenas para a ponta, parece um dardo com um recorte.
• Visão Global (O Triângulo): Olhando para o conjunto todo, parece um triângulo com um pedaço faltando.

Eles "esconderam" a parte do recorte na imagem e pediram para a IA (chamada BEiT) adivinhar o que estava lá. A IA precisava escolher: completar o triângulo (convexidade) ou manter o recorte do dardo (concavidade).

Resultado: A IA, assim como os humanos, quase sempre escolheu completar o triângulo. Ela "preferiu" a forma convexa.

2. A Autópsia do Cérebro da IA

Agora vem a parte mágica. Os pesquisadores não queriam apenas saber que a IA escolheu o triângulo; eles queriam saber como e onde ela tomou essa decisão. Eles usaram uma técnica chamada "Atribuição de Logit", que é como fazer uma autópsia em tempo real das camadas de pensamento da IA.

Eles descobriram que a decisão não acontece de uma vez só. É um processo de duas etapas:

• O Início (Camadas Iniciais): No começo do processamento, a IA está confusa. É como se ela estivesse em um estado de "bistabilidade", equilibrada na corda bamba, sem saber se é um dardo ou um triângulo.
• O Gatilho (A Semente): Mas, quase imediatamente, uma pequena parte da IA começa a sussurrar: "Ei, acho que é um triângulo!". Eles encontraram uma peça específica, chamada de cabeça de atenção L0H9 (pense nela como um pequeno "semeador" ou "gatilho" no início do processo).
• A Tempestade (Camadas Finais): À medida que a informação passa pelas camadas seguintes, essa pequena preferência inicial se amplifica. Outras partes da IA começam a discutir (algumas defendem o dardo, outras o triângulo), mas a "semente" inicial faz com que a opinião do triângulo se torne mais forte até que a IA tome uma decisão definitiva.

3. A Cirurgia: Mudando a Mente da IA

A parte mais impressionante do estudo foi quando eles decidiram editar esse processo.

Eles pegaram aquele pequeno "gatilho" inicial (a cabeça L0H9) e simplesmente diminuíram o volume dele (como se desligassem o microfone desse sussurrador inicial).

O que aconteceu?
A IA mudou de ideia! Sem aquele pequeno empurrão inicial para o triângulo, a IA começou a confiar mais nas evidências locais e passou a ver o dardo com o recorte.

A Analogia Final: O Maestro e a Orquestra

Pense na IA como uma orquestra tocando uma música:

• A Música: É a decisão de ver um triângulo ou um dardo.
• A Orquestra: São todas as camadas e partes da IA trabalhando juntas.
• O Maestro (L0H9): É aquele pequeno "gatilho" no início.

Normalmente, o Maestro levanta a mão e diz "Vamos tocar a música do Triângulo!". A orquestra inteira segue o comando, e mesmo que alguns músicos queiram tocar o "Dardo", o comando do Maestro é forte o suficiente para que todos toquem o Triângulo.

O que os pesquisadores fizeram foi baixar o volume do Maestro. Sem aquele comando inicial forte, a orquestra ouviu os músicos que queriam tocar o "Dardo" e a música mudou.

Por que isso importa?

Isso prova que a "intuição" da IA não é um mistério mágico ou uma regra fixa de pedra. É um processo mecânico que pode ser encontrado, entendido e até ajustado.

Isso é crucial para áreas como medicina. Imagine uma IA analisando um raio-X. Se ela tiver um "vício" de ver formas convexas, ela pode ignorar um tumor pequeno e irregular (concavo) porque sua "semente" interna prefere formas redondas. Sabendo onde essa decisão acontece, os cientistas podem "desligar" esse viés para garantir que a IA preste atenção aos detalhes importantes, não apenas ao que ela "acha" que deve ver.

Resumo: A IA tem um preconceito natural de ver formas arredondadas. Esse preconceito começa com um pequeno "sussurro" no início do processamento. Se você silenciar esse sussurro, a IA muda sua percepção e vê a realidade de forma diferente.

Resumo técnico

Título: Localização e Edição da Organização Figura-Fundo em Vision Transformers

Autores: Stefan Arnold e Rene Gröbner (Friedrich-Alexander-Universität Erlangen-Nürnberg, Alemanha)

---

1. Problema e Motivação

Os Vision Transformers (ViTs) demonstraram capacidade de integrar pistas locais em formas globais, superando o viés de textura comum em modelos convolucionais. No entanto, permanece um debate intenso sobre se esses modelos internalizam princípios fundamentais da organização perceptual humana, especificamente as Leis da Gestalt.

Um dos princípios mais críticos é a organização figura-fundo, onde o cérebro humano tende a perceber regiões convexas como o "figura" (objeto em primeiro plano) e regiões côncavas como o "fundo". O artigo investiga se os ViTs resolvem essa ambiguidade perceptual de maneira similar aos humanos (priorizando a convexidade) e, mais importante, onde e como esse viés é implementado mecanicamente dentro da arquitetura do modelo. O objetivo é ir além da observação comportamental para entender a base mecânica dessa organização.

2. Metodologia

Estímulo de Conflito Perceptual

Os autores criaram um estímulo controlado baseado em formas geométricas de "dardos" (quadriláteros não convexos).

• Conflito: A região de interesse é definida pela diferença geométrica entre a forma côncava (o dardo) e seu casco convexo.
• Máscara: Essa região de conflito é mascarada no modelo.
• Tarefa: O modelo deve preencher a região mascarada.
  • Se o modelo preenche completando um triângulo, indica preferência por convexidade (fechamento global).
  • Se o modelo preserva a forma do dardo, indica preferência por concavidade (evidência local).

Modelo e Objetivo

O estudo utiliza o BEiT (um modelo baseado em autoencoder variacional discreto), que mapeia patches mascarados para um códigobook visual discreto. Isso transforma a tarefa de reconstrução em um problema de classificação, permitindo uma análise mais precisa das "votações" internas do modelo.

Técnicas de Análise Mecanística

1. Atribuição de Logits (Logit Attribution):

   • Técnica usada para decompor o fluxo residual do modelo e isolar a contribuição de subestruturas específicas (camadas e cabeças de atenção) para a decisão final (convexidade vs. concavidade).
   • Projeta as ativações internas no espaço do códigobook para calcular uma pontuação escalar que indica a preferência do componente.

2. Lente de Atenção (Attention Lens):

   • Decomposição das atualizações da camada de atenção para identificar quais cabeças de atenção individuais exercem pressão direcional (a favor da convexidade ou concavidade).

3. Escalonamento de Ativação (Activation Scaling):

   • Técnica de intervenção onde a ativação de uma cabeça de atenção específica é multiplicada por um escalar ($\alpha$).
   • O objetivo é testar causalidade: ao reduzir a influência de uma cabeça específica, observa-se se a preferência do modelo muda.

---

3. Principais Contribuições

1. Decomposição Mecanística da Organização Figura-Fundo:
   Os autores mapearam a resolução do conflito figura-fundo para um conjunto discreto de cabeças de atenção dentro do BEiT, demonstrando que essa organização é uma operação identificável no subespaço de atenção.

2. Identificação de um "Semente" Precoce (Early Seed):
   Descobriram que a preferência pela convexidade não é um viés de leitura tardia, mas é semeada precocemente. Especificamente, a cabeça de atenção L0H9 (camada 0, cabeça 9) atua como uma semente inicial, introduzindo um viés sutil, mas persistente, em direção à convexidade logo no início do processamento.

3. Edição Causal da Percepção:
   Demonstraram que é possível "virar" a percepção do modelo. Ao reduzir a influência da cabeça L0H9, o modelo deixa de priorizar a convexidade global e passa a seguir a evidência local côncava, efetivamente transformando uma completude convexa (triângulo) em uma interpretação côncava (dardo).

---

4. Resultados Chave

• Dinâmica das Camadas:

  • Camadas Iniciais e Intermediárias: O fluxo residual mantém um estado de "bistabilidade" ou competição. Nem a evidência côncava nem o prior convexo dominam; a atribuição de logits oscila perto da linha de base zero.
  • Camadas Finais: Ocorre uma resolução abrupta. O fluxo residual é empurrado decisivamente para o lado da convexidade, indicando que a decisão é tomada no final, mas baseada em uma acumulação gradual de viés.

• Papel das Cabeças de Atenção:

  • L0H9: Atua como o "semente" do viés convexo. Sua contribuição é pequena isoladamente, mas crucial para iniciar a direção.
  • L9H6: Atua como uma "voz de contra-argumento" (concavidade) nas camadas tardias, indicando que a fidelidade geométrica local não é suprimida, mas perde a competição contra a soma dos votos convexos.
  • A organização figura-fundo é resultado de uma integração competitiva, onde a soma dos votos que apoiam a convexidade supera a oposição ativa das cabeças que apoiam a concavidade.

• Intervenção (Escalonamento):

  • Ao aplicar um fator de escala $\alpha = 0.3$ na cabeça L0H9, a distribuição de probabilidade do modelo cruza a fronteira de decisão.
  • Visualmente, o modelo deixa de "ignorar" o entalhe côncavo e passa a reconstruir a forma do dardo, provando que o viés de convexidade é uma força ativa e modificável, e não um artefato passivo.

---

5. Significado e Implicações

• Interpretabilidade Mecanística: O estudo prova que princípios da Gestalt (como a convexidade) não são apenas emergências estatísticas, mas são governados por unidades funcionais identificáveis (cabeças de atenção específicas) dentro do modelo.
• Controle e Segurança: A descoberta de que a organização perceptual pode ser "sintonizada" tem implicações para a robustez do modelo. Em domínios críticos (como imagens médicas ou detecção de anomalias), onde evidências locais (côncavas) são diagnósticas, é crucial poder suprimir priores globais que poderiam causar erros catastróficos.
• Hipótese de Semente: O trabalho propõe que a organização perceptual em ViTs começa com uma condição inicial assimétrica (semeada precocemente) que direciona a competição subsequente nas camadas tardias, em vez de ser uma decisão puramente tardia baseada apenas na leitura final.

Em resumo, o artigo fornece uma explicação causal de como os Vision Transformers resolvem ambiguidades visuais, mostrando que a preferência humana por formas convexas é replicada mecanicamente através de uma semente precoce de atenção que pode ser editada para alterar o comportamento do modelo.