Language Models Should be Used to Surface the Unwritten Code of Science and Society

Resumen Técnico: Los modelos de lenguaje deben utilizarse para sacar a la luz el código no escrito de la ciencia y la sociedad

Declaración del problema
Los modelos de lenguaje extensos (LLM) inevitablemente absorben y reflejan los sesgos humanos incrustados en sus datos de entrenamiento. Mientras que la investigación existente se centra en identificar y mitigar estos sesgos, este documento argumenta a favor de un cambio de paradigma: aprovechar los sesgos de los LLM como herramientas de diagnóstico para descubrir y articular el "código no escrito" de la sociedad. Estos códigos no escritos consisten en normas tácitas, estereotipos implícitos y convenciones sutiles (por ejemplo, las preferencias de narrativa en la revisión por pares) que influyen invisiblemente en la dinámica social pero que resisten la formalización porque rara vez son expresadas explícitamente por los actores humanos. El desafío central es que los métodos actuales a menudo solo sacan a la luz sesgos superficiales (priors) o no logran recuperar estructuras heurísticas más profundas que se activan durante los procesos de razonamiento.

Metodología
Los autores proponen un marco conceptual para extraer y articular explícitamente estos códigos no escritos a través de un proceso iterativo de generación de hipótesis, demostrado mediante un estudio de caso sobre la revisión por pares de 26,731 artículos en 46 conferencias académicas.

1. Preparación de datos: El estudio utiliza metadatos, puntuaciones de revisión por pares y comentarios de revisión de OpenReview y Paper Copilot. El contenido de los artículos se representa mediante resúmenes extendidos (generados por GPT-4o) que contienen contexto de fondo, ideas clave, metodología e impacto, en lugar de textos completos, para asegurar que los mecanismos de atención se centren en la información relevante y mitiguen las alucinaciones.
2. Construcción por pares: Se construye un conjunto de datos de pares de artículos donde un artículo recibió una puntuación de revisión significativamente mayor que el otro (superando una desviación estándar).
3. Marco de generación de hipótesis:
   • Extracción de la distribución previa (Prior Extraction): Se le pide al LLM que genere hipótesis que expliquen por qué un artículo es superior a otro sin entrada de datos específicos. Estas representan los "priors normativos" del modelo (por ejemplo, el rigor teórico).
   • Búsqueda iterativa (Actualización de la distribución posterior/Posterior Update): Se presenta al modelo con datos de pares reales. El modelo genera hipótesis para explicar las diferencias de puntuación observadas. Para los casos donde las hipótesis iniciales no logran explicar los datos ("pares no explicados"), el modelo genera iterativamente nuevas hipótesis distintas. Esto continúa hasta que los casos no explicados caen por debajo del 5%.
   • Refinamiento de autocoherencia (Self-Consistency Refinement): Las hipótesis generadas se aplican de nuevo a todo el conjunto de datos. El modelo evalúa el grado en que cada hipótesis explica la diferencia de puntuación, emitiendo una etiqueta binaria y un puntaje de confianza. Un esquema de votación ponderado por confianza agrega estos juicios para asegurar la fiabilidad.
4. Validación humana: Los comentarios de revisión humana son anotados (usando GPT-4o y expertos humanos) para determinar si aspectos específicos (hipótesis) son mencionados explícitamente. Esto permite una comparación entre lo que los humanos dicen (menciones explícitas) y lo que hacen (asignación de puntuaciones).

Resultos clave
El estudio revela una divergencia distintiva entre los "priors" (lo que los modelos y los humanos afirman valorar) y los "posteriors" (lo que realmente impulsa las decisiones cuando hay datos presentes).

• Lógicas divergentes: Los LLM inicialmente generan hipótesis alineadas con valores científicos normativos (por ejemplo, el rigor teórico). Sin embargo, a medida que la búsqueda iterativa progresa para explicar casos difíciles, el modelo se desplaza hacia hipótesis centradas en la narrativa (storytelling), la contextualización y las conexiones externas. Estas últimas hipótesis exhiben un mayor poder explicativo y confianza del modelo.
• El código no escrito: Existe una actualización sistemática de los priors a los posteriors. Las hipótesis relacionadas con el "rigor interno" disminuyen en frecuencia del prior al posterior, mientras que la "narrativa" y la "relevancia interdisciplinaria" aumentan significativamente.
• Brecha de alineación Humano-LLM:
  • Los comentarios de revisión humana se alinean con los priors del LLM (correlación = 0.49), discutiendo explícitamente el rigor teórico.
  • Los comentarios humanos no se alinean con los posteriors del LLM (correlación = –0.14). A pesar de recompensar implícitamente la narrativa y la contextualización con puntuaciones más altas, los revisores humanos rara vez articulan estos factores en sus comentarios escritos.
  • El "código no escrito" (la narrativa) explica una parte significativa de la varianza en las puntuaciones (llenando el vacío dejado por los criterios explícitos) pero permanece sin reportar en los comentarios humanos.
• Robustez: Estos patrones se mantienen a través de diferentes arquitecturas de LLM (abiertos y cerrados), datos fuera de la muestra y representaciones alternativas de los artículos.

Contribuciones clave

1. Marco conceptual: El documento introduce un método para "autorreforzar" y amplificar los sesgos dentro de los LLM para forzar la articulación de heurísticas ocultas. Al empujar a los modelos a generar hipótesis autocoherentes para decisiones no explicadas, el marco saca a la luz reglas tácitas que los humanos no pueden o no quieren declarar.
2. Evidencia empírica de normas tácitas: Proporciona evidencia cuantitativa de que la revisión por pares científica depende en gran medida de criterios no escritos (narrativa, posicionamiento) que contradicen las normas explícitas (rigor) citadas en las revisiones.
3. Propuesta de herramienta de diagnóstico: Los autores proponen utilizar los LLM no como jueces automatizados, sino como herramientas de diagnóstico para exponer la brecha entre la articulación explícita y la recompensa implícita, permitiendo la discusión pública de los valores revelados.

Significancia y afirmaciones
El documento afirma que el valor principal de este trabajo no es la automatización del juicio, sino el hacer visible lo invisible. Al aprovechar el "cambio cognitivo" del prior al posterior en los LLM, los investigadores pueden identificar el "currículo oculto" de los sistemas de evaluación social.

Los autores argumentan que la transparencia respecto a estos códigos no escritos es esencial para la equidad. Actualmente, estas reglas ocultas benefician a quienes ya están familiarizados con ellas (por ejemplo, investigadores de instituciones de élite). Hacer explícitos estos códigos no es simplemente proporcionar una "guía de estudio", sino que permite a los grupos marginados comprender las barreras ocultas y empodera a las instituciones para reflexionar y revisar estos estándares. El documento concluye que la implementación debe centrarse en diseñar sistemas que registren y contrasten las heurísticas implícitas frente a los criterios explícitos, fomentando un enfoque más preciso y responsable de la IA en la evaluación de alto nivel.