CresOWLve: Benchmarking Creative Problem-Solving Over Real-World Knowledge

Resumo Técnico: CRESOWLVE

1. O Problema

A resolução criativa de problemas é uma habilidade cognitiva complexa que exige a combinação de raciocínio lógico, pensamento lateral, formação de analogias e conhecimento de senso comum para conectar informações aparentemente não relacionadas. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado significativamente, a maioria dos benchmarks existentes avalia apenas componentes específicos desse processo (como raciocínio factual, matemático ou quebra-cabeças artificiais).

O problema central identificado pelos autores é que muitos benchmarks de criatividade:

• Baseiam-se em cenários artificiais ou "brainteasers" que não refletem a resolução de problemas no mundo real.
• Falham em exigir a integração de conhecimento de diversas áreas do mundo real.
• Não conseguem distinguir adequadamente entre a simples recuperação de fatos e a necessidade de fazer "saltos criativos" não óbvios para conectar esses fatos.

2. Metodologia

Os autores introduzem o CRESOWLVE, um benchmark bilíngue (Inglês e Russo) projetado para avaliar a resolução criativa de problemas baseada em conhecimento real.

• Origem dos Dados: O conjunto de dados é derivado do famoso jogo intelectual russo "What? Where? When?" (O quê? Onde? Quando?), que contém milhares de perguntas criadas por humanos ao longo de 50 anos, exigindo intuição e insight criativo.
• Pipeline de Construção de Dados:
  1. Coleta: Inicialmente, foram coletadas 3.789 perguntas de um banco de dados público.
  2. Filtragem: Foram removidas perguntas que exigiam materiais físicos externos (295 amostras) ou que dependiam excessivamente de nuances linguísticas e culturais específicas da Rússia, tornando-as intraduzíveis ou impossíveis de resolver para modelos não nativos (799 amostras).
  3. Tradução: As perguntas restantes foram traduzidas para o inglês com preservação rigorosa de pistas lógicas e ambiguidades.
  4. Validação Humana: Três autores revisaram manualmente as traduções e a viabilidade das perguntas, removendo mais 282 amostras.
  5. Classificação: As perguntas foram categorizadas automaticamente em Fáticas (recuperação direta de fatos) e Criativas (exigem conexão não óbvia de conhecimentos). O conjunto final para avaliação contém 2.061 amostras criativas.
• Análise de Domínios: Cada amostra foi anotada com domínios de conhecimento (ex: Literatura, História, Física), conceitos criativos (ex: metáfora, analogia, pensamento lateral) e culturas/demografias envolvidas.
• Avaliação: O benchmark foi testado em uma variedade de LLMs de ponta, incluindo modelos "não pensantes" (que geram respostas diretas) e modelos "pensantes" (que utilizam raciocínio explícito/Chain-of-Thought). A avaliação utilizou duas métricas: Exact Match (correspondência exata) e LLM-as-a-Judge (avaliação semântica por um modelo LLM).

3. Principais Contribuições

1. Novo Benchmark (CRESOWLVE): Um dataset de alta qualidade, validado manualmente, focado em problemas de resposta única que exigem a integração de conhecimento real e pensamento criativo, preenchendo a lacuna entre benchmarks de raciocínio factual e quebra-cabeças artificiais.
2. Avaliação Abrangente: Testou múltiplos modelos de ponta (Open-weight e Proprietários), incluindo versões com diferentes níveis de "esforço de pensamento" (thinking effort).
3. Análise de Falhas Detalhada: Identificou que a principal dificuldade para os LLMs não é a falta de conhecimento factual, mas a incapacidade de formar conexões criativas não óbvias entre fatos conhecidos.
4. Descoberta sobre Modelos de Pensamento: Demonstrou que modelos com capacidades de raciocínio explícito ("thinking models") superam significativamente seus pares não pensantes, indicando que o raciocínio estendido é um habilitador chave para a criatividade.

4. Resultados Chave

• Desempenho Geral: O benchmark provou ser altamente desafiador. Mesmo os modelos mais avançados tiveram desempenho modesto, com a maioria dos modelos "não pensantes" ficando abaixo de 30% de precisão.
• Gap Criativo vs. Fático: Houve uma queda consistente e significativa no desempenho ao passar de perguntas factuais para criativas. Em alguns casos, a precisão caiu até 17% em modelos que conseguiam recuperar o fato, mas falharam na conexão criativa.
• Eficácia do "Thinking": Modelos com modos de raciocínio explícito (como Gemini-3.1-Pro e GPT-5.4) superaram amplamente os modelos padrão. O aumento do "esforço de pensamento" (de nenhum para médio/alto) resultou em ganhos substanciais de precisão (ex: o desempenho do GPT-5.4 quase dobrou ao aumentar o esforço).
• Transferência Cross-lingual: Curiosamente, alguns modelos "pensantes" fechados performaram melhor na versão russa do que na inglesa, possivelmente devido a contaminação de dados (memorização das perguntas durante o treinamento) ou capacidades multilíngues superiores em níveis de raciocínio profundo.
• Análise de Erros: A categoria de erro mais frequente foi "Falta de conexão criativa" (o modelo recupera o conhecimento, mas não vê o link metafórico ou associativo). Outros erros comuns incluíram má interpretação de pistas e ancoragem incorreta em conceitos errados.

5. Significado e Impacto

O CRESOWLVE estabelece um novo padrão para avaliar a inteligência artificial além do raciocínio lógico linear. O estudo revela que, embora os LLMs tenham acesso a vastas quantidades de conhecimento factual, eles ainda lutam para orquestrar esse conhecimento de forma criativa para resolver problemas complexos do mundo real.

A descoberta de que o "pensamento" (raciocínio explícito) é crucial para a criatividade sugere que o futuro do desenvolvimento de LLMs deve focar não apenas em aumentar o tamanho dos dados, mas em melhorar os mecanismos de raciocínio e a capacidade de fazer inferências não óbvias. O benchmark serve como um teste robusto para medir o progresso nessa área, incentivando a criação de modelos que possam imitar a intuição e a criatividade humana na resolução de problemas.