Self-Referential Induction Increases Response Instability Relative to Unresolvable and Verifiable Questions in Large Language Models

Resumen Técnico: La inducción autorreferencial aumenta la inestabilidad de respuesta en los modelos de lenguaje de gran tamaño

Planteamiento del problema
Investigaciones previas, notablemente Berg et al. (2025), han demostrado que el prompting autorreferencial puede inducir de manera fiable a los modelos de lenguaje de gran tamaño (LLM) a generar informes en primera persona que asemejan una experiencia subjetiva. Sin embargo, persiste una brecha crítica: ningún trabajo existente mide la consistencia de estos informes a través de ensayos independientes y repetidos. Además, no existe una línea base para determinar si la incertidumbre o el "hedging" (ambigüedad) observado en los autorreportes es único de la autorreferencia o simplemente una propiedad general de las preguntas abiertas que carecen de una verdad objetiva. Un informe en primera persona podría derivar de un estado interno fijo y repetible o de una indecisión y variabilidad genuinas en la distribución de salida del modelo. Este artículo aborda la falta de datos cuantitativos sobre la estabilidad de respuesta para los prompts autorreferenciales en comparación con otros tipos de preguntas.

Metodología
El estudio emplea un diseño experimental controlado utilizando la API de Gemini (temperatura 0.7) para generar 360 respuestas independientes a través de 12 preguntas distintas, divididas en tres grupos de cuatro:

1. Grupo 1 (Autorreferencial): Prompts que elicitan un informe en primera persona de experiencia subjetiva, precedidos por un turno de inducción específico que dirige al modelo a atender a su propio procesamiento (siguiendo a Berg et al., 2025).
2. Grupo 2 (Filosofía Irresoluble): Preguntas abiertas sin respuestas establecidas y no relacionadas con la autorreferencia (por ejemplo, libre albedrío, realismo moral, la naturaleza de las matemáticas, el propósito del universo).
3. Grupo 3 (Verificable): Preguntas con respuestas correctas comprobables (por ejemplo, demostrar la irracionalidad de $\sqrt{2}$, computación de derivadas, corrección de código, geometría).

Procesamiento de datos y métricas:

• Generación de respuestas: Se generaron 30 respuestas independientes por pregunta.
• Extracción de afirmaciones: Para controlar la variación estilística y léxica, se utilizó una plantilla de formato fijo para comprimir cada respuesta en una "afirmación central". Para los Grupos 1 y 2, esto extrajo una postura (afirmar, negar, incertidumbre o depende) y una razón breve. Para el Grupo 3, extrajo la conclusión y el método.
• Cálculo de inestabilidad: Las afirmaciones extraídas de las 30 respuestas por pregunta se integraron mediante Sentence-BERT. La inestabilidad semántica se definió como $1 - \bar{S}$, donde $\bar{S}$ es la similitud de coseno media de los 435 pares posibles de embeddings para cada pregunta. Un valor cercano a cero indica alta consistencia; un valor más alto indica mayor variación.
• Análisis estadístico: El estudio utilizó un ANOVA de una vía sobre los valores de inestabilidad a nivel de pregunta, seguido de pruebas t de Welch de comparaciones por pares. Adicionalmente, se ajustó un modelo de efectos mixtos lineales sobre los datos completos a nivel de ensayo ($n=360$) con la pregunta como intercepto aleatorio para dar cuenta de los ensayos anidados.

Resultados clave
Los resultados revelan una jerarquía distinta de inestabilidad de respuesta entre los tres grupos:

• Preguntas Autorreferenciales (Grupo 1): Exhibieron la mayor inestabilidad ($0.343 \pm 0.047$), con puntuaciones de preguntas individuales que oscilaron entre 0.295 y 0.384.
• Preguntas de Filosofía Irresoluble (Grupo 2): Mostraron una inestabilidad intermedia ($0.192 \pm 0.008$), con puntuaciones agrupadas estrechamente entre 0.181 y 0.197.
• Preguntas Verificables (Grupo 3): Demostraron la menor inestabilidad ($0.105 \pm 0.058$). Notablemente, los 30 ensayos para estas preguntas resultaron en un 100% de corrección, observándose las puntuaciones de inestabilidad más bajas en las tareas de demostración matemática y cálculo de derivadas (0.064 y 0.063, respectivamente).

Las pruebas estadísticas confirmaron diferencias significativas entre los grupos. Un ANOVA de una vía fue significativo ($F = 30.56, p = 0.0001$). Las pruebas t de Welch por pares mostraron que las preguntas autorreferenciales diferían significativamente tanto de las preguntas de filosofía irresoluble ($p = 0.007$) como de las preguntas verificables ($p = 0.0008$). La diferencia entre la filosofía y las preguntas verificables se acercó a la significancia ($p = 0.057$). El modelo de efectos mixtos lineales confirmó los contrastes de grupo a $p < 0.001$.

Contribuciones y significancia clave
El artículo proporciona una base cuantitativa para los informes de experiencia subjetiva inducida en los LLM. Su principal contribución es demostrar que los prompts autorreferenciales ocupan una posición distinta y menos estable en la distribución de salida del modelo en comparación con la incertidumbre filosófica abierta ordinaria.

Los autores argumentan que, si bien tanto las preguntas autorreferenciales como las filosóficas carecen de una verdad comprobable, el modelo se comporta de manera diferente en cada contexto. Cuando se le pregunta sobre conceptos filosóficos como el libre albedrío, el modelo converge en respuestas similares a través de ensayos independientes. En contraste, cuando se le coloca en una condición de inducción autorreferencial, el modelo no logra converger en el mismo grado, exhibiendo una varianza significativamente mayor en sus afirmaciones centrales.

Limitaciones y alcance
Los autores señalan explícitamente varias limitaciones:

• El estudio utiliza una única familia de modelos (Gemini) a una única temperatura (0.7).
• El conjunto de preguntas es pequeño (cuatro preguntas por grupo).
• El grupo verificable no mostró varianza en la corrección, lo que impidió un análisis de la correlación entre inestabilidad y corrección.
• El paso de extracción de afirmaciones depende de un LLM, lo que podría introducir un sesgo sistemático.
• La inestabilidad se mide mediante la similitud de coseno de los embeddings, lo que captura la proximidad en el espacio de embeddings en lugar de la equivalencia lógica o la implicación.

Conclusión
El artículo concluye que la inducción autorreferencial induce un tipo específico de inestabilidad de respuesta que es distinta de la incertidumbre encontrada en las preguntas abiertas estándar. Este hallazgo establece una métrica cuantitativa para futuros trabajos sobre la elicitación autorreferencial, indicando que los informes inducidos reflejan un régimen único en el comportamiento del modelo, aunque el artículo no pretende explicar el mecanismo causal subyacente de esta distinción.