Is it out-of-the-box? A geometric approach to measuring creative thinking in semantic space

Resumo Técnico: É fora da caixa? Uma abordagem geométrica para medir o pensamento criativo no espaço semântico

Problema
A metáfora de "pensar fora da caixa" é ubíqua ao descrever o raciocínio criativo, contudo, a própria "caixa" carece de uma definição operacional em estruturas computacionais. Sem uma representação mensurável das fronteiras conceituais, torna-se difícil caracterizar como ideias específicas se desviam de domínios estabelecidos. As abordagens computacionais existentes para a avaliação de novidade em textos científicos baseiam-se primariamente em modelagem probabilística (ex: surprisal de modelos de linguagem) ou similaridade baseada em embeddings. Embora esses métodos capturem a imprevisibilidade ou a distância semântica, eles não fornecem uma noção explícita e interpretável da extensão do espaço conceitual de um documento ou de quão longe ele se afasta das fronteiras conceituais históricas.

Metodologia
Os autores propõem um framework computacional que formaliza a "caixa" como uma região geométrica dentro de um espaço semântico latente compartilhado. A metodologia procede através das seguintes etapas:

1. Construção do Espaço Semântico:

   • O estudo emprega Análise de Semântica Latente (LSA) em vez de embeddings de transformers contextuais para garantir um sistema de coordenadas estável e compartilhado entre todos os documentos. Isso evita a variabilidade introduzida por embeddings dependentes de contexto.
   • Uma matriz TF-IDF é construída a partir do corpus, seguida de Decomposição de Valores Singulares Truncada (SVD) para gerar um espaço latente de baixo posto.
   • Os documentos são representados como conjuntos finitos de pontos (vetores de termos) dentro deste espaço $k$-dimensional fixo.

2. Modelagem Geométrica da Caixa:

   • Caixa do Documento: Para um determinado documento $d$, o conjunto de embeddings de termos únicos $E_d$ define uma região geométrica. A extensão desta região é quantificada por uma caixa delimitadora alinhada aos eixos (axis-aligned bounding box).
   • Medição de Volume: O tamanho da região conceitual é calculado como o log-volume ($\log BLV_{doc}$), definido como a soma dos logaritmos das larguras alinhadas aos eixos ($\Delta_j$) mais uma pequena constante $\epsilon$ para estabilidade numérica. Esta métrica captura a dispersão semântica do documento sem normalizar pelo comprimento, pois não se assume que o comprimento do texto seja independente do escopo conceitual.

3. Construção da "Caixa" de Referência:

   • Para medir o desvio, uma caixa de referência que representa as fronteiras estabelecidas é construída para tópicos específicos.
   • O corpus é dividido em um conjunto de treinamento (2015–2017) e um conjunto de avaliação (2018–2020).
   • Latent Dirichlet Allocation (LDA) é treinado no conjunto de treinamento para identificar tópicos. Para cada tópico, um vocabulário é selecionado com base em pontuações de relevância, e uma caixa de nível de tópico é construída utilizando os embeddings desses termos.

4. Definição da Métrica:

   • A métrica central é o Desvio Geométrico Normalizado por Tópico ($\Delta BLV$):
     $$\Delta BLV(d) = \log BLV_{doc}(d) - \log BLV_{topic}(DT(d))$$
   • Este valor estima o quão longe um documento se estende além das fronteiras conceituais historicamente observadas de seu tópico dominante. Valores positivos indicam expansão geométrica; valores negativos indicam confinamento.

5. Validação:

   • O desvio geométrico proposto é comparado com uma medida de novidade baseada em surprisal derivada da log-verossimilhança negativa (NLL) de um modelo de linguagem GPT-2 ajustado (fine-tuned) nos mesmos dados do domínio.
   • Correlações são computadas entre o $\Delta BLV$ e as perdas de nível de token (especificamente os $N$ tokens com maior perda) através de diferentes números de tópicos LDA ($K$).

Principais Resultados

• Correlação com Surprisal: O estudo encontra uma relação positiva consistente entre o desvio geométrico ($\Delta BLV$) e a medida de novidade baseada em surprisal (NLL) em ambos os domínios de Engenharia (ENGI) e Neurociência (NEUR).
• Significância Estatística: Todas as correlações individuais observadas através de variações no número de caixas de tópicos ($K$) e limiares de tokens ($N$) são estatisticamente significativas ($p < 10^{-3}$).
• Sinais Distintos: Embora correlacionados, os resultados sugerem que o desvio geométrico e o surprisal probabilístico capturam aspectos relacionados, mas distintos, da novidade. A abordagem geométrica mede a extensão estrutural da região conceitual de um documento, enquanto o surprisal mede o desvio das distribuições de tokens aprendidas.

Significância e Alegações
O artigo não pretende fornecer uma medida definitiva ou completa de criatividade. Em vez disso, posiciona o framework como uma ferramenta para fornecer um sinal estrutural interpretável de expansão conceitual.

• Interpretabilidade: Ao contrário dos escores probabilísticos de "caixa preta", a abordagem geométrica oferece uma visualização transparente de como o conteúdo semântico de um documento abrange uma região mais ampla do espaço latente em comparação com as normas históricas.
• Aplicação Educacional: Os autores sugerem que o framework é particularmente útil no ensino de design inventivo. Ele poderia apoiar o rastreamento do desenvolvimento do pensamento exploratório ao longo do tempo, identificando quando os estudantes ultrapassam padrões de solução familiares (confinamento dentro da caixa) para espaços conceituais mais amplos (expansão além da caixa).
• Limitações: Os autores reconhecem explicitamente limitações, incluindo o potencial de subestimar termos genuinamente novos não presentes no vocabulário de treinamento, a simplificação da geometria semântica via caixas alinhadas aos eixos, e a incapacidade de distinguir entre expansão significativa e dispersão semântica incoerente.

Em suma, o trabalho contribui com uma perspectiva complementar à criatividade computacional ao modelar a novidade como expansão geométrica em um espaço semântico compartilhado, oferecendo um método tratável para quantificar o quão longe um texto se afasta de fronteiras conceituais estabelecidas.