Is it out-of-the-box? A geometric approach to measuring creative thinking in semantic space

Resumen Técnico: ¿Está fuera de la caja? Un enfoque geométrico para medir el pensamiento creativo en el espacio semántico

Planteamiento del problema
La metáfora de "pensar fuera de la caja" es ubicua al describir el razonamiento creativo, sin embargo, la propia "caja" carece de una definición operativa en los marcos computacionales. Sin una representación medible de los límites conceptuales, resulta difícil caracterizar cómo ciertas ideas se desvían de los dominios establecidos. Los enfoques computacionales existentes para la evaluación de la novedad en textos científicos dependen principalmente del modelado probabilístico (por ejemplo, la sorpresa de un modelo de lenguaje) o de la similitud basada en embeddings. Si bien estos métodos capturan la imprevisibilidad o la distancia semántica, no proporcionan una noción explícita e interpretable de la extensión del espacio conceptual de un documento ni de qué tan lejos se aleja de los límites conceptuales históricos.

Metodología
Los autores proponen un marco computacional que formaliza la "caja" como una región geométrica dentro de un espacio semántico latente compartido. La metodología procede a través de los siguientes pasos:

1. Construcción del Espacio Semántico:

   • El estudio emplea Análisis de Semántica Latente (LSA) en lugar de embeddings transformadores contextuales para asegurar un sistema de coordenadas estable y compartido en todos los documentos. Esto evita la variabilidad introducida por los embeddings dependientes del contexto.
   • Se construye una matriz TF-IDF a partir del corpus, seguida de una Descomposición en Valores Singulares Truncada (SVD) para generar un espacio latente de bajo rango.
   • Los documentos se representan como conjuntos finitos de puntos (embebidos de términos) dentro de este espacio de $k$ dimensiones fijas.

2. Modelado de la Caja Geométrica:

   • Caja del Documento: Para un documento $d$ dado, el conjunto de embeddings de términos únicos $E_d$ define una región geométrica. La extensión de esta región se cuantifica mediante una caja delimitadora alineada con los ejes (axis-aligned bounding box).
   • Medición del Volumen: El tamaño de la región conceptual se calcula como el logaritmo del volumen ($\log BLV_{doc}$), definido como la suma de los logaritmos de las anchuras alineadas con los ejes ($\Delta_j$) más una pequeña constante $\epsilon$ para la estabilidad numérica. Esta métrica captura la dispersión semántica del documento sin normalizar por longitud, ya que no se asume que la longitud del texto sea independiente del alcance conceptual.

3. Construcción de la Caja de Referencia:

   • Para medir la desviación, se construye una caja de referencia que representa los límites establecidos para temas específicos.
   • El corpus se divide en un conjunto de entrenamiento (2015–2017) y un conjunto de evaluación (2018–2020).
   • Se entrena una Asignación de Temas Latentes (LDA) en el conjunto de entrenamiento para identificar temas. Para cada tema, se selecciona un vocabulario basado en puntuaciones de relevancia y se construye una caja a nivel de tema utilizando los embeddings de estos términos.

4. Definición de la Métrica:

   • La métrica central es la Desviación Geométrica Normalizada por Tema ($\Delta BLV$):
     $$\Delta BLV(d) = \log BLV_{doc}(d) - \log BLV_{topic}(DT(d))$$
   • Este valor estima qué tan lejos se extiende un documento más allá de los límites conceptuales observados históricamente de su tema dominante. Los valores positivos indican expansión geométrica; los valores negativos indican confinamiento.

5. Validación:

   • La desviación geométrica propuesta se compara con una medida de novedad basada en la sorpresa derivada de la log-verosimilitud negativa (NLL) de un modelo de lenguaje GPT-2 ajustado (fine-tuned) con los mismos datos de dominio.
   • Se computan las correlaciones entre $\Delta BLV$ y las pérdidas a nivel de token (específicamente los $N$ tokens con mayor pérdida) a través de diferentes números de temas LDA ($K$).

Resultados Clave

• Correlación con la Sorpresa: El estudio encuentra una relación positiva consistente entre la desviación geométrica ($\Delta BLV$) y la medida de novedad basada en la sorpresa (NLL) tanto en el dominio de Ingeniería (ENGI) como en el de Neurociencia (NEUR).
• Significancia Estadística: Todas las correlaciones individuales observadas a través de diversos números de cajas de temas ($K$) y umbrales de tokens ($N$) son estadísticamente significativas ($p < 10^{-3}$).
• Señales Distintas: Aunque están correlacionados, los resultados sugieren que la desviación geométrica y la sorpresa probabilística capturan aspectos relacionados pero distintos de la novedad. El enfoque geométrico mide la extensión estructural de la región conceptual de un documento, mientras que la sorpresa mide la desviación de las distribuciones de tokens aprendidas.

Significancia y Reivindicaciones
El artículo no pretende proporcionar una medida definitiva o completa de la creatividad. En su lugar, posiciona el marco como una herramienta para proporcionar una señal estructural interpretable de la expansión conceptual.

• Interpretabilidad: A diferencia de las puntuaciones de sorpresa de "caja negra", el enfoque geométrico ofrece una visualización transparente de cómo el contenido semántico de un documento abarca una región más amplia del espacio latente en comparación con las normas históricas.
• Aplicación Educativa: Los autores sugieren que el marco es particularmente útil en la educación del diseño inventivo. Podría apoyar el seguimiento del desarrollo del pensamiento exploratorio a lo largo del tiempo, identificando cuándo los estudiantes van más allá de los patrones de solución familiares (confinamiento dentro de la caja) hacia espacios conceptuales más amplios (expansión más allá de la caja).
• Limitaciones: Los autores reconocen explícitamente limitaciones, incluyendo la posibilidad de subestimar términos genuinamente nuevos no presentes en el vocabulario de entrenamiento, la simplificación de la geometría semántica mediante cajas alineadas con los ejes, y la incapacidad de distinguir entre una expansión significativa y una dispersión semántica incoherente.

En resumen, el trabajo contribuye con una perspectiva complementaria a la creatividad computacional al modelar la novedad como una expansión geométrica en un espacio semántico compartido, ofreciendo un método tratable para cuantificar qué tan lejos se desvía un texto de los límites conceptuales establecidos.