Resumo Técnico: Compressão Prospectiva na Aprendizagem de Abstração Humana

Declaração do Problema

O artigo aborda um desafio central na síntese de programas e na modelagem cognitiva: aprendizagem de biblioteca online. Trata-se da aquisição incremental de abstrações reutilizáveis (auxiliares) sob incerteza quanto às demandas futuras de tarefas. Abordagens computacionais existentes, como DreamCoder e Stitch, tratam a aprendizagem de biblioteca como compressão retrospectiva. Esses algoritmos descobrem iterativamente uma biblioteca de subprogramas que comprime maximamente um corpus estático de tarefas passadas.

No entanto, os autores argumentam que domínios de aprendizagem do mundo real são frequentemente não estacionários, onde as tarefas surgem de um processo generativo que evolui ao longo do tempo. Em tais configurações, um aprendiz deve decidir quais abstrações formar com base apenas nas tarefas vistas até o momento, sem conhecimento da distribuição completa de tarefas. A questão central é se a aprendizagem de biblioteca humana é impulsionada pela compressão de dados passados (retrospectiva) ou pela antecipação e compressão de tarefas futuras (prospectiva).

Metodologia

A Tarefa do Construtor de Padrões (PBT)

Para investigar isso, os autores utilizam a Tarefa do Construtor de Padrões, um paradigma de síntese visual de programas.

• Domínio: Os participantes reconstroem padrões geométricos binários de $10 \times 10$.
• Mecanismo: As soluções são expressas como programas compostos por uma Linguagem Específica de Domínio (DSL) fixa contendo 6 primitivas geométricas e 7 operadores de transformação (3 binários, 4 unários).
• Aprendizagem de Biblioteca: Os participantes podem salvar qualquer construção intermediária como um "auxiliar". Esses auxiliares persistem entre os ensaios e funcionam como novas primitivas, permitindo a construção incremental de uma biblioteca reutilizável.

Desenho Experimental

Os autores projetaram dois experimentos com currículos latentes complementares para dissociar estratégias de compressão retrospectiva e prospectiva:

1. Experimento 1 (Currículo Sequencial): As tarefas seguem uma estrutura autorregressiva onde cada alvo é uma transformação de uma solução precedente. Essa estrutura é solucionável via compressão retrospectiva, pois soluções passadas informam diretamente as futuras.
2. Experimento 2 (Currículo de Grupo de Operadores): As tarefas são organizadas em grupos de quatro. Dentro de um grupo, todos os alvos compartilham um subprograma latente comum (auxiliar) combinado com um conjunto fixo de quatro operadores distintos. Crucialmente, ensaios consecutivos em um grupo têm baixa similaridade superficial, tornando difícil inferir a estrutura compartilhada apenas a partir de tarefas passadas imediatas. Este desenho requer compressão prospectiva — inferir o processo generativo latente para antecipar o auxiliar compartilhado para todo o grupo.

Modelos Computacionais

Os autores avaliaram o comportamento humano contra uma família de modelos computacionais:

1. Linha de Base (Sem Biblioteca): Busca exaustiva de baixo para cima sem abstração.
2. Modelos de Compressão Retrospectiva:
   • RC (Compressão Retrospectiva): Seleciona auxiliares de forma gananciosa para maximizar a utilidade de compressão sobre o corpus de tarefas passadas (semelhante ao DreamCoder).
   • GL (Aprendizagem de Biblioteca Gananciosa): Seleciona apenas o programa terminal do ensaio atual.
   • PL (Aprendizagem de Biblioteca Probabilística): Seleciona estocasticamente subprogramas da trilha de derivação.
3. Modelos de Viés Indutivo (Baseados em LLM):
   • LLM-PS: Utiliza um Modelo de Linguagem Grande (GPT-5.2) para síntese baseada na tarefa atual e primitivas, capturando priores estruturais sem histórico.
   • LLM-PS-H: Inclui o histórico completo de tarefas e soluções passadas no prompt.
4. Compressão Prospectiva (Normativa): Um modelo teórico que seleciona auxiliares para maximizar a utilidade de compressão esperada sobre o corpus de soluções inteiro (passado e futuro), condicionado à distribuição de tarefas observada.

Métricas

O desempenho foi medido usando:

• Contagem de Passos: Eficiência da construção da solução.
• Tamanho da Biblioteca: Número de auxiliares criados.
• Utilidade de Compressão do Corpus: A métrica principal, avaliando quão bem um conjunto selecionado de $k$ auxiliares comprime o corpus de programas completo (retido), incluindo tarefas futuras.

Principais Resultados

1. Eficiência Humana e Uso de Biblioteca: Os participantes completaram com sucesso as tarefas e criaram consistentemente bibliotecas de auxiliares. O uso de auxiliares reduziu significativamente o número de passos necessários em comparação com soluções de primitivas brutas, mantendo a profundidade da solução limitada mesmo à medida que o comprimento do programa bruto crescia.
2. Modelos Retrospectivos no Experimento 1: No currículo sequencial, o comportamento humano foi bem aproximado pelo modelo de Compressão Retrospectiva (RC). Tanto humanos quanto RC selecionaram auxiliares que comprimiam efetivamente as tarefas passadas observadas.
3. Comportamento Prospectivo no Experimento 2: No currículo de grupo de operadores, modelos retrospectivos (RC, GL, PL) e modelos de viés indutivo (LLM-PS, LLM-PS-H) falharam em selecionar os auxiliares compartilhados ótimos.
   • RC selecionou auxiliares que comprimiam tarefas passadas, mas perderam a estrutura latente compartilhada entre o grupo.
   • Modelos LLM selecionaram auxiliares geometricamente plausíveis com base em vieses indutivos, mas falharam em capturar o subprograma compartilhado específico requerido para o grupo.
   • Desempenho Humano: Auxiliares selecionados por humanos consistentemente alcançaram maior utilidade de compressão do corpus do que todos os modelos computacionais no Experimento 2. O comportamento humano acompanhou de perto o "Oráculo" (o conjunto ótimo de auxiliares conhecido com hindsight), indicando que os humanos inferiram com sucesso a estrutura generativa latente e selecionaram abstrações que seriam úteis para tarefas futuras.
4. Inadequação de Explicações Existentes: Os resultados demonstram que a seleção de abstrações humanas não pode ser explicada apenas por compressão retrospectiva ou vieses indutivos modelados pela síntese de programas baseada em LLMs atuais.

Principais Contribuições

1. Paradigma Experimental: A introdução de um paradigma controlado (PBT) com currículos latentes especificamente projetados para dissociar estratégias de compressão prospectiva de retrospectiva.
2. Avaliação Computacional: Uma avaliação sistemática de uma família de modelos (compressão retrospectiva, viés indutivo e estratégias probabilísticas) contra o comportamento humano em configurações não estacionárias.
3. Evidência Empírica para Compressão Prospectiva: A primeira demonstração de que a aprendizagem de abstração online humana é impulsionada pela compressão prospectiva do processo gerador de tarefas. Humanos inferem estrutura latente para selecionar abstrações que se transferem para tarefas futuras, uma capacidade não capturada por algoritmos retrospectivos existentes ou síntese de programas baseada em LLMs atuais.

Significado e Alegações

O artigo alega que a aprendizagem de abstração humana é melhor caracterizada como compressão prospectiva e não meramente compressão retrospectiva ou viés indutivo estático.

• Para Síntese de Programas: Os autores argumentam que algoritmos de aprendizagem de biblioteca devem ir além da otimização para compressão de dados passados. Para lidar com domínios não estacionários, os algoritmos devem modelar explicitamente a distribuição de tarefas não estacionária e antecipar dependências futuras.
• Para Ciência Cognitiva: As descobertas apoiam a visão de que a aprendizagem de abstração está intimamente acoplada à modelagem de estrutura antecipatória. Aprendizes não apenas comprimem experiências; eles inferem como as estruturas de tarefas evoluem ao longo do tempo para facilitar a previsão hierárquica e a aprendizagem de sequências.
• Avaliação (Benchmarking): A Tarefa do Construtor de Padrões é proposta como um candidato a benchmark para avaliar abstração prospectiva, distinguindo entre algoritmos que meramente resolvem tarefas individuais e aqueles que podem inferir e reutilizar estrutura através de uma distribuição de tarefas que evolui temporalmente.

Os autores permanecem modestos quanto ao escopo, notando que seu estudo está confinado a um domínio visual restrito e que trabalho futuro é necessário para modelar formalmente a distribuição de probabilidade de tarefas futuras e realizar inferência conjunta sobre a biblioteca e o processo generador de tarefas latente.