Resumo Técnico: Representações Inequívocas em Redes Neurais

Declaração do Problema

Representações convencionais (ex: cadeias de bits, letras) são inerentemente ambíguas; seu significado depende inteiramente de um decodificador ou convenção externa. Uma única cadeia de bits pode codificar um JPEG ou um MP3, dependendo do esquema de decodificação. Em contraste, a experiência consciente é postulada como sendo fundamentalmente diferente: um estado neural correspondente à percepção de um quadrado vermelho não pode simultaneamente codificar a percepção de um triângulo verde. Esta natureza intrínseca da consciência sugere que as representações conscientes devem ser inequívocas, onde o conteúdo é determinado exclusivamente pelo próprio estado neural, e não por uma interpretação externa.

O artigo aborda a questão de saber se redes neurais podem codificar conteúdo representacional de forma inequívoca através de sua estrutura relacional interna. Especificamente, investiga se o conteúdo de um neurônio (ex: a classe do dígito que ele representa ou a posição espacial de uma entrada que ele codifica) pode ser determinado unicamente por seus padrões de conectividade em relação a outros neurônios, sem conhecimento do procedimento de treinamento ou rotulagem externa.

Metodologia

Estrutura Teórica

Os autores formalizam a ambiguidade representacional usando a teoria da informação. A ambiguidade é definida como a entropia condicional $H(I|R)$, onde $I$ representa interpretações possíveis e $R$ é a representação.

• Alta Ambiguidade: Distribuição uniforme sobre interpretações (informação mínima sobre o conteúdo).
• Baixa Ambiguidade: Probabilidade concentrada (alta confiança no conteúdo).
  A hipótese é que a estrutura relacional (a teia de relações internas) dentro de uma rede pode restringir as interpretações possíveis, reduzindo assim $H(I|R)$.

Configuração Experimental

Dois experimentos principais foram conduzidos usando redes neurais totalmente conectadas treinadas na tarefa de classificação de dígitos MNIST (arquitetura 784-50-50-10). Três paradigmas de treinamento foram comparados:

1. Não Treinada: Inicialização aleatória (controle).
2. Backpropagation Padrão: Treinamento padrão.
3. Treinamento com Dropout: Backpropagation com 20% de dropout nas camadas ocultas.

Experimento 1: Decodificação da Identidade da Classe do Neurônio de Saída

• Tarefa: Determinar qual classe de dígito (0–9) um neurônio de saída representa baseando-se apenas em sua conectividade.
• Procedimento: Os neurônios na camada de saída foram permutados aleatoriamente para remover a informação posicional. A estrutura relacional foi extraída via matriz Gram de similaridades de cosseno entre os vetores de peso dos neurônios.
• Métodos de Decodificação:
  1. Correspondência Geométrica: Uma matriz Gram de referência (média de redes com ordenação conhecida) foi comparada às redes de teste. A permutação que minimizou a distância de Frobenius foi selecionada.
  2. Decodificador Aprendido: Um decodificador baseado em transformer (sem codificações posicionais para garantir a invariância à permutação) foi treinado para prever a identidade da classe a partir da estrutura relacional.
• Ablação: Testou-se se vizinhanças locais (similaridade de um neurônio alvo com todos os outros) seriam suficientes ou se toda a geometria global é necessária.
• Escalonamento: Variou-se o número de neurônios de saída (2 a 10) para testar se o aumento da complexidade relacional reduz a ambiguidade.
• Cross-Architecture: Testou-se a transferibilidade através de diferentes arquiteturas de camadas ocultas (50-50, 25-25, 100).

Experimento 2: Decodificação da Posição Espacial do Neurônio de Entrada

• Tarefa: Decodificar a distância euclidiana de um pixel correspondente de um neurônio de entrada em relação ao centro da imagem.
• Procedimento: Semelhante ao Experimento 1, mas aplicado aos pesos da camada de entrada ($784 \times 50$). Devido ao grande número de permutações ($784!$), apenas o decodificador aprendido (tarefa de regressão) foi utilizado.
• Métrica: Pontuação $R^2$ para prever a distância espacial.

Quantificando a Ambiguidade

Os autores computaram Pontuações de Redução de Ambiguidade (ARS) para quantificar a redução da entropia condicional em relação à entropia máxima.

• Para classificação: Derivado da acurácia usando a desigualdade de Fano.
• Para regressão: Derivado de $R^2$ assumindo resíduos gaussianos.
  Uma ARS de 1.0 indica uma desambiguação completa ($H(I|R, C) = 0$).

Principais Resultados

1. Decodificação da Identidade da Classe do Neurônio de Saída

• Redes Não Treinadas: A acurácia de decodificação ficou no nível do acaso (10%), validando que pesos aleatórios não contêm estrutura recuperável.
• Backpropagation Padrão: Alcançou 25% de acurácia com o decodificador aprendido e 38% com a correspondência geométrica. Embora acima do acaso, a geometria relacional mostrou ambiguidade significativa (múltiplas permutações geraram distâncias semelhantes à referência).
• Treinamento com Dropout: Alcançou 100% de acurácia com a correspondência geométrica (variância zero) e 75% com o decodificador aprendido. A permutação verdadeira foi claramente separada de todas as alternativas incorretas no espaço geométrico.
• Ortogonalidade ao Desempenho: Apesar dessas diferenças drásticas na ambiguidade representacional, a acurácia de classificação MNIST subjacente foi quase idêntica em todos os paradigmas de treinamento.

2. Necessidade Estrutural e Complexidade

• Global vs. Local: A remoção do contexto geométrico global (fornecendo apenas vetores de similaridade local) causou uma queda substancial na acurácia de decodificação, indicando que o conteúdo de um neurônio é determinado por sua posição dentro de toda a geometria relacional, e não apenas por seus vizinhos locais.
• Complexidade Relacional: A acurácia escalou monotonicamente com o número de neurônios usados para computar a estrutura relacional. Com 2 neurônios, o desempenho estava no nível do acaso (50%); com 10 neurônios, atingiu 100%. Isso demonstra que geometrias relacionais mais ricas fornecem mais restrições sobre as interpretações.

3. Invariância e Generalização

• Invariância de Arquitetura: A correspondência geométrica alcançou forte acurácia de decodificação através de diferentes arquiteturas de camadas ocultas (ex: decodificando uma rede 25-25 usando uma referência 50-50), sugerindo que a codificação relacional do conteúdo é amplamente invariante à arquitetura.
• Discriminação de Dataset: Um classificador binário pôde distinguir entre redes treinadas em MNIST vs. Fashion-MNIST com acurácia quase perfeita (99.8% para dropout) baseando-se apenas na estrutura relacional.

4. Posição do Neurônio de Entrada

• Contrariamente aos resultados da camada de saída, o backpropagation padrão gerou maior acurácia de decodificação espacial ($R^2 = 0.844$) do que o treinamento com dropout ($R^2 = 0.695$).
• No entanto, em ambos os casos, a estrutura relacional completa superou significativamente a informação de vizinhança local.
• As Pontuações de Redução de Ambiguidade (ARS) para posições de entrada variaram de 0.419 a 0.654, indicando uma desambiguidade substancial, mas não perfeita.

Significância e Alegações

O artigo afirma fornecer um método quantitativo para medir a ambiguidade representacional em sistemas neurais. Suas principais contribuições são:

1. Operacionalização da Inequivocidade: Demonstra que redes neurais podem codificar informações de uma forma que é inequívoca em relação à estrutura relacional. Para redes treinadas com dropout, a geometria relacional sozinha especifica completamente o conteúdo representacional (identidade da classe), atingindo uma ARS de 1.0.
2. Ortogonalidade entre Ambiguidade e Desempenho: O estudo mostra que a ambiguidade representacional é uma dimensão da representação neural que pode variar independentemente do desempenho da tarefa comportamental. Uma rede pode realizar uma tarefa perfeitamente enquanto codifica informações de forma ambígua (backprop padrão) ou inequívoca (dropout).
3. Alinhamento Teórico: Os resultados apoiam explicações teóricas da consciência (como o Representacionalismo Estrito e a Teoria da Informação Integrada) que postulam que estados conscientes devem ser inequívocos. O artigo argumenta que, se a consciência sobreveniente na atividade cerebral, esses estados devem determinar seu conteúdo de forma inequívoca. O achado experimental de que a estrutura relacional pode fixar o conteúdo sem decodificação externa alinha-se com a natureza "intrínseca" da experiência fenomenal.
4. Determinismo Estrutural: O trabalho sugere que o conteúdo não é meramente atribuído convencionalmente, mas pode ser estruturalmente determinado pelas relações internas do sistema. O decodificador usado nos experimentos não impõe significado, mas descobre padrões relacionais consistentes inerentes às instâncias da rede.

Os autores mantêm suas alegações com modéstia, declarando explicitamente que não afirmam que redes MNIST sejam conscientes. Em vez disso, propõem que seu framework oferece uma condição necessária (embora não suficiente) para a experiência fenomenal: a capacidade de um substrato neural codificar conteúdo de forma inequívoca através de sua estrutura interna.