From Intermediate States to Novel Outcomes: Intervention-Sensitive Visual Process Grounding in an Artificial Cognitive System

=== RESUMO ===

Resumo Técnico: De Estados Intermediários a Resultados Inéditos

Problema
Sistemas cognitivos artificiais frequentemente têm dificuldade em distinguir entre qual estado foi alcançado e como ele foi alcançado. Em muitos cenários, diferentes sequências procedimentais convergem para os mesmos estados iniciais e finais, mas implicam ações diferentes quando aplicadas a uma nova consulta. Avaliações padrão de ponta a ponta, que focam apenas na precisão da predição final, não conseguem determinar se um sistema reconheceu um processo demonstrado, utilizou uma representação intermediária ou apenas explorou um "atalho de endpoint", onde o estado final sozinho prediz o resultado. O desafio central é construir um cenário onde o resultado correto seja subdeterminado pelos endpoints e pela consulta, exigindo que o sistema infira e aplifique uma ordem de transformação específica baseada em evidências intermediárias.

Metodologia
O estudo introduz uma tarefa visual livre de linguagem, com pares contrafactuais, projetada para isolar o reconhecimento e a execução de processos.

• Estrutura da Tarefa: Uma demonstração consiste em uma imagem inicial ($D_0$), uma imagem intermediária ($D_1$) e uma imagem final ($D_2$). Existem duas ordens de processo: (0) recolorir uma forma alvo seguida de mover objetos daquela cor, ou (1) mover objetos primeiro, depois recolorir. Em demonstrações de pares contrafactuais, $D_0$ e $D_2$ são idênticos para ambas as ordens, mas $D_1$ difere, codificando a sequência específica. Uma imagem de consulta ($Q_0$) também é idêntica para o par, mas os resultados corretos ($Y^{(0)}$ e $Y^{(1)}$) diferem.
• Arquitetura do Sistema: O autor compara duas interfaces:
  1. Interface Explícita de Baixa Largura de Banda: um reconhecedor mapeia $(D_0, D_1, D_2)$ para uma distribuição de processo de dois estados ($\hat{p}$), que condiciona um executor orientado à tradução para gerar o resultado.
  2. Interface Latente de Alta Largura de Banda: um vetor contínuo não restringido é passado de um reconhecedor para um executor separado.
• Ablação Sensível à Intervenção: Para separar as regras de intervenção aprendidas da evidência de tempo de avaliação, o autor emprega um design fatorial $2 \times 2$ cruzando Supervisão de Substituição (treinar o modelo para inverter rótulos quando $D_1$ é trocado por seu par correspondente) e Supervisão de Incerteza Mascarada (treinar o modelo para produzir uma distribuição uniforme quando $D_1$ é ocultado).
  • Apenas Canônica: Recebe supervisão de processo padrão, mas sem perda explícita de substituição ou máscara. A substituição é introduzida apenas na avaliação.
  • Intervenção Total: Recebe perdas canônicas, de substituição e de máscara.
• Avaliação: O estudo utiliza 12 corpora gerados independentemente e testa a paridade posicional retida (paridade de coordenadas opostas dentro do mesmo gerador de grade). As principais métricas incluem Interseção sobre União (IoU) de Primeiro Plano, precisão de imagem exata e calibração de incerteza de processo (desvio de 0,5 de probabilidade sob mascaramento).

Principais Contribuições

1. Tarefa de Pares Contrafactuais: Um cenário mínimo que elimina atalhos de endpoint e de consulta, forçando a dependência do estado intermediário ($D_1$) para resolver a ambiguidade do processo.
2. Teste de Substituição Apenas Canônica: Demonstrar que um sistema treinado apenas em exemplos de processo canônicos (sem regra de substituição explícita) pode reverter espontaneamente seu código de processo e resultado quando a imagem intermediária é substituída no momento da avaliação.
3. Separação Fatorial de Capacidades: Distinguir entre consistência de substituição (sensibilidade a evidências alternativas) e calibração de incerteza (sensibilidade à ausência de evidências). O estudo mostra que estas são capacidades distintas que requerem supervisões diferentes.
4. Análise de Fidelidade de Interface: Comparar códigos de processo verdadeiros, suaves e rígidos dentro do mesmo executor para verificar se interfaces de processo discretas não acarretam perda de reconhecimento no nível de saída.
5. Largura de Banda vs. Semântica: Quantificar o custo de desempenho de restringir a interface a uma variável semântica de baixa largura de banda em comparação com um vetor latente de alta largura de banda.

Resultos

• Execução Informada pelo Processo: O sistema explícito totalmente supervisionado alcançou um IoU de Primeiro Plano de .981 na paridade posicional retida, superando significativamente o controle de endpoint (IoU .597, que se aproximava de um baseline de ambiguidade). A diferença de .384 de IoU confirma que a informação de processo resolve a ambiguidade do endpoint.
• Sensibilidade de Intervenção Espontânea: No regime Apenas Canônico (sem perda de substituição), substituir $D_1$ por seu par correspondente fez com que o sistema selecionasse o resultado alternativo com uma probabilidade de .99988 (IC 95% [.99968, .99999]). Isso demonstra que o mapeamento do estado intermediário para o código de processo generalizou sem treinamento de intervenção explícito.
• Redundância da Supervisão de Substituição: Adicionar perda de substituição explícita não proporcionou benefício mensurável; o sistema já estava saturado em sua capacidade de responder à substituição.
• Calibração de Incerteza: A incerteza calibrada (produzindo probabilidade de ~0,5 sob $D_1$ mascarado) não emergiu do treinamento canônico (o desvio de 0,5 foi de .492). Ela exigiu supervisão de máscara explícita (o desvio reduziu para .001). Além disso, um código de processo uniforme não garantiu uma distribuição de imagem uniforme, pois o executor poderia mapeá-lo para um resultado híbrido confiante.
• Comparação de Interface: A interface latente de alta largura de banda superou ligeiramente a interface explícita (diferença de IoU de -.008). No entanto, códigos de processo verdadeiros, suaves e rígidos produziram imagens discretas idênticas item por item, confirmando a suficiência da interface explícita para execução de alta fidelidade.

Significância e Alegações
O artigo afirma demonstrar o fundamentação de processo funcional sensível à intervenção em um sentido restrito. Não afirma que o sistema descobriu grafos causais do mundo real ou compreensão humana. Em vez disso, estabelece que, dentro de um sistema cognitivo artificial:

1. Uma mudança controlada na evidência visual do processo (substituindo $D_1$) altera um estado de processo explícito.
2. Esta mudança se propaga através de uma interface fixa para alterar a saída prospectiva na direção correspondente.
3. Este comportamento pode surgir de uma supervisão de processo comum sem regras de intervenção explícitas, distinguindo "aprendizado de processo" de "aprendizado de atalho".
4. A consistência de substituição e a calibração de incerteza são capacidades distintas; a primeira pode emergir espontaneamente, enquanto a segunda requer supervisão específica.

O estudo conclui que, embora interfaces latentes de alta largura de banda ofereçam uma ligeira vantagem preditiva, uma interface semântica de baixa largura de banda é suficiente para um controle de alta qualidade e sensível à intervenção, desde que o sistema seja treinado para reconhecer a ordem do processo. Os resultados apoiam a utilidade de representações intermediárias explícitas para controle prospectivo em cenários onde os endpoints são ambíguos.