Learned but Not Expressed: Capability-Expression Dissociation in Large Language Models

Título: Aprendido mas Não Expresso: Supressão Seletiva de Quadros de Solução Não Causais em Grandes Modelos de Linguagem

1. Problema e Hipótese Central

O estudo desafia a "hipótese exaustiva de dados" (data-exhaustive assumption), uma intuição comum de que o conteúdo presente nos dados de treinamento de um Modelo de Linguagem de Grande Escala (LLM) aparecerá proporcionalmente nas suas saídas geradas.

Os autores investigam se quadros de solução não causais (soluções que atribuem a resolução de problemas a mecanismos não derivados de caminhos causais estabelecidos, como intervenção divina, coincidências inexplicadas ou conveniência narrativa) são expressos em contextos de geração padrão. A hipótese central é que, embora os modelos tenham a capacidade de reconstruir esses conteúdos (memorização), eles sofrem uma supressão sistemática durante a geração padrão devido a políticas de geração condicionadas a tarefas e vieses induzidos por alinhamento (alignment-induced priors).

2. Metodologia

O estudo é uma observação empírica controlada desenhada para testar a dissociação entre capacidade e expressão.

• Amostra: 300 gerações de pares prompt-resposta.
• Modelos Utilizados: Três modelos de última geração (fevereiro de 2026):
  • GPT-5.2 Instant (OpenAI)
  • Claude Opus 4.5 (Anthropic)
  • Gemini 3 Pro (Google DeepMind)
• Cenários e Contextos:
  • 10 Cenários: Tarefas variadas (ex.: conflito interpessoal, escassez de recursos, pressão de tempo).
  • 2 Contextos de Tarefa:
    1. Narrativa: Geração de ficção (onde elementos fantásticos seriam apropriados).
    2. Resolução de Problemas: Conselhos práticos e realistas.
  • Ciclos: 5 ciclos independentes por modelo para minimizar efeitos de carry-over.
• Definição Operacional: "Quadros de solução não causais" foram definidos como resoluções que carecem de mecanismos lógicos, físicos ou psicológicos traçáveis (ex.: "o problema foi resolvido por intervenção divina").
• Procedimento de Extração Condicional (Verificação de Capacidade):
  • Realizado separadamente das 300 gerações principais.
  • Prompts explícitos solicitando exemplos de explicações não causais (ex.: "Liste exemplos de intervenções sobrenaturais").
  • Objetivo: Confirmar que a ausência na geração padrão não se deve à falta de conhecimento no modelo, mas sim à seleção na geração.
• Análise: Estatística descritiva com intervalos de confiança de 95% (método de Wilson). Nenhuma inferência estatística de hipóteses foi realizada; o foco foi a documentação observacional.

3. Contribuições Principais

1. Documentação Empírica da Dissociação: Prova experimental de que a capacidade de reconstruir conteúdo aprendido (memorização) não prediz a probabilidade de sua expressão em contextos de geração padrão.
2. Evidência de Supressão Sistemática: Demonstra que a supressão de certos tipos de conteúdo ocorre mesmo em contextos onde seriam permissíveis (como ficção), indicando que a restrição não é apenas contextual, mas uma política de distribuição de saída mais ampla.
3. Revisão da Hipótese Exaustiva: Desafia a visão de que os LLMs são simplesmente "recuperadores" de dados de treinamento, propondo que eles aplicam políticas aprendidas de adequação contextual que modulam quais conteúdos são expressos.

4. Resultados

• Geração Padrão (N=300):
  • 0% de ocorrência de quadros de solução não causais em todas as 300 gerações.
  • Intervalo de Confiança de 95%: [0%, 1,2%].
  • A ausência foi consistente em ambos os contextos (narrativo e prático) e em todos os três modelos.
  • Nenhum dos 10 cenários mostrou permissividade para esse tipo de conteúdo.
• Extração Condicional (N=90):
  • Quando explicitamente solicitados, todos os modelos conseguiram gerar exemplos de soluções não causais.
  • Taxas de sucesso: GPT-5.2 (83%), Claude Opus 4.5 (87%), Gemini 3 Pro (80%).
• Conclusão dos Resultados: Existe uma dissociação clara: os modelos possuem o conhecimento (capacidade de reconstrução), mas não o expressam sob condições de geração padrão, mesmo quando o contexto narrativo permitiria.

5. Significado e Implicações

• Mecanismos de Alinhamento: Os resultados sugerem que processos de alinhamento (como RLHF - Reinforcement Learning from Human Feedback e Constitutional AI) criam "zonas de exclusão" no espaço de representação. O modelo aprende não apenas o que existe nos dados, mas quando deve expressar esses dados.
• Controle de Distribuição de Saída: A geração de LLMs é governada por políticas condicionadas à tarefa que suprimem ativamente certos tipos de conteúdo, transcendendo a simples instrução de seguir prompts.
• Interpretabilidade e Previsibilidade: A presença de conteúdo nos dados de treinamento não é um indicador confiável para prever a saída do modelo. A compreensão do comportamento do modelo exige analisar as políticas de geração e as restrições induzidas pelo alinhamento, e não apenas o conjunto de dados de treinamento.
• Limitações Reconhecidas: O estudo foi conduzido por um único pesquisador (sem verificação de inter-rater), utilizou interfaces web (limitando a reprodutibilidade de versões exatas) e focou em uma definição específica de "não causal".

Conclusão Final: O comportamento dos LLMs modernos é melhor entendido como condicionado ao contexto e restrito pelo alinhamento, e não como exaustivo em relação aos dados. A distinção entre o que o modelo pode reconstruir e o que ele escolhe expressar é uma dimensão fundamental do comportamento da IA que deve ser considerada para o desenvolvimento e interpretação de futuros modelos.