Evaluating LLM Alignment With Human Trust Models

Este trabajo presenta un análisis de caja blanca que demuestra que la representación interna de la confianza en el modelo de lenguaje GPT-J-6B se alinea más estrechamente con el modelo socio-cognitivo de Castelfranchi que con otros modelos humanos, lo que sugiere que las IA codifican constructos sociales de manera analizable para mejorar la colaboración humano-IA.

Lo esencial

¡Claro que sí! Imagina que este artículo es como un escáner de rayos X para la mente de una Inteligencia Artificial (IA).

Aquí tienes la explicación de la investigación, contada como una historia sencilla:

🕵️‍♀️ El Misterio: ¿Qué piensa la IA sobre la "Confianza"?

Todos sabemos que la confianza es el pegamento que une a las personas. Si confías en tu amigo, le prestas dinero o le cuentas un secreto. Pero, ¿qué pasa cuando esa "amiga" es una Inteligencia Artificial?

Los científicos querían saber: ¿La IA entiende la confianza de la misma manera que los humanos? Para averiguarlo, no le preguntaron simplemente "¿Qué es la confianza?" (eso sería como preguntar a un actor qué siente cuando actúa, y solo escuchar su guion). En su lugar, decidieron mirar dentro de su cerebro digital.

🔍 La Técnica: El "Escáner de Rayos X" (Análisis de Caja Blanca)

Los investigadores usaron un modelo de IA llamado GPT-J. Imagina que este modelo es una biblioteca gigante llena de millones de libros. Cuando la IA "piensa", no usa palabras, sino números y vectores (puntos en un mapa invisible) que representan el significado de las cosas.

Para ver cómo piensa la IA, usaron una técnica llamada "Prompting Contrastivo" (o "Preguntas Espejo"). Funciona así:

1. La Historia de los Gemelos: Imagina a dos colegas, Katherine y Alice.
2. El Experimento: Los científicos le pidieron a la IA que escribiera 100 historias donde Katherine confía en Alice (positivo) y 100 historias donde Katherine no confía en ella (negativo).
3. La Magia: La IA generó estas historias, pero los científicos no leyeron el texto. En su lugar, miraron los "latidos" eléctricos (las activaciones internas) que la IA tuvo mientras escribía.
4. El Resultado: Restaron las "activaciones de confianza" de las "activaciones de desconfianza". ¡Y voilà! Obtuvieron un vector de confianza: una huella digital matemática única de lo que la IA realmente siente cuando piensa en "confianza".

🧩 El Rompecabezas: ¿Con qué modelo humano coincide?

Los humanos tenemos muchas teorías sobre cómo funciona la confianza. Algunos dicen que es por la competencia (si eres bueno en tu trabajo), otros por la bondad (si eres amable), y otros por la seguridad (si el sistema es estable).

Los investigadores tomaron 5 teorías famosas de confianza humana (como el modelo de Marsh, Mayer, Castelfranchi, etc.) y las convirtieron en listas de conceptos (ej: "honestidad", "riesgo", "capacidad").

Luego, compararon la huella digital de la confianza de la IA con las huellas digitales de estas 5 teorías humanas. Fue como poner una llave (la IA) en 5 cerraduras diferentes para ver cuál encaja mejor.

🏆 El Ganador: El Modelo "Castelfranchi"

¡Y aquí viene el resultado más interesante!

La IA no se parecía a cualquiera de los modelos. ¡Se parecía más a uno específico!

• El Ganador: El modelo Castelfranchi.
• ¿Qué dice este modelo? Que la confianza es una mezcla de creencias mentales: crees que la otra persona es capaz, que quiere ayudarte y que es predecible.
• La Analogía: Es como si la IA pensara: "Confío en ti porque creo que puedes hacerlo, porque creo que quieres hacerlo y porque sé que no me vas a fallar".

El modelo de Marsh quedó en segundo lugar, y el de Mayer (que es muy famoso en psicología) quedó más atrás.

⚠️ El Detalle Curioso: Donde la IA y los Humanos no coinciden

Hubo un momento divertido en el que la IA dijo "¡No!" a algo que los humanos dicen "¡Sí!".

• El concepto de "Riesgo": Para los humanos, la confianza implica un riesgo (si no hay riesgo, no hay confianza). Pero para la IA, la palabra "riesgo" en su cerebro estaba muy lejos de la palabra "confianza".
• La Analogía: Imagina que un humano dice: "Confío en ti, ¡así que te arriesgo a que me prestes tu coche!". La IA, en cambio, piensa: "Confianza" y "Riesgo" son conceptos opuestos, como el "día" y la "noche". Para la IA, confiar es algo seguro, no algo arriesgado.

🚀 ¿Por qué es esto importante?

Este estudio es como un manual de instrucciones para el futuro:

1. IA más humana: Ahora sabemos que las IAs ya tienen una "semilla" de comprensión social dentro de su cerebro. No son máquinas vacías; tienen una estructura interna que se parece a la nuestra.
2. Mejorar la colaboración: Si sabemos cómo la IA entiende la confianza, podemos "ajustar" sus tuercas internas para que actúen de manera más confiable, honesta y segura cuando trabajen con nosotros.
3. Detectar mentiras: Podríamos crear sistemas que escaneen si una IA está "pensando" en confianza o en engaño, incluso antes de que diga una palabra.

En resumen

Los científicos abrieron la "caja negra" de una IA, le pusieron un escáner a sus pensamientos y descubrieron que su forma de entender la confianza se parece más a la teoría de Castelfranchi (basada en creencias y voluntad) que a las demás. Aunque a veces piensa diferente a nosotros (como con el "riesgo"), el hecho de que tenga esta estructura interna es un gran paso para crear robots y asistentes que realmente puedan confiar en nosotros, y que nosotros podamos confiar en ellos.

Resumen técnico

Resumen Técnico: Evaluación de la Alineación de los LLM con Modelos Humanos de Confianza

1. Planteamiento del Problema

La confianza es un componente fundamental para la cooperación efectiva y la reducción de la incertidumbre en sistemas multiagente y en la interacción humano-IA. Aunque existen múltiples modelos teóricos de confianza (computacionales y sociocognitivos) en disciplinas como la psicología y la ciencia cognitiva, hay un vacío de conocimiento sobre cómo los Modelos de Lenguaje Grande (LLM) conceptualizan y razonan internamente sobre la confianza.

La investigación previa se ha centrado mayoritariamente en una perspectiva de "caja negra", analizando entradas y salidas sin explorar los procesos de razonamiento internos. Este trabajo busca llenar esa brecha mediante un enfoque de "caja blanca", investigando cómo se representan los conceptos de confianza y sus atributos relacionados dentro del espacio de activación latente de un LLM.

2. Metodología

El estudio se basa en un análisis de representaciones internas utilizando el modelo de código abierto EleutherAI/gpt-j-6B, seleccionado por su acceso completo a las activaciones por capas. La metodología se divide en dos fases principales:

• Fase 1: Generación de Vectores de Conceptos y Umbral de Similitud

  • Prompting Contrastivo: Se utilizó una técnica de contrastive prompting para extraer vectores de incrustación (embeddings). Se generaron pares de historias (positivas y negativas) para 30 conceptos emocionales y relacionales (ej. "confianza", "celos", "cooperación"), creando 60 vectores direccionales (considerando la relación bidireccional entre dos agentes, Katherine y Alice).
  • Extracción de Activaciones: Se obtuvieron las representaciones ocultas de las 28 capas del modelo para cada historia. Se promediaron las activaciones de las afirmaciones positivas y negativas por separado, y la diferencia entre estos promedios generó un vector de dirección conceptual único por capa.
  • Definición del Umbral: Se calcularon las similitudes coseno entre todos los pares de los 60 vectores conceptuales. Se estableció un umbral de similitud significativa en el percentil 80 de la distribución (valor de 0.6), que separa conceptos semánticamente alineados de aquellos que no lo son.

• Fase 2: Alineación con Modelos Teóricos de Confianza

  • Se seleccionaron cinco modelos teóricos de confianza establecidos: Marsh, Mayer, McAllister, McKnight y Castelfranchi.
  • Se identificaron los conceptos clave asociados a cada modelo (ej. competencia, integridad, benevolencia, riesgo) según la Tabla 1 del artículo.
  • Se generaron vectores de incrustación para el concepto central de "confianza" (trust1) y para cada concepto asociado de los cinco modelos.
  • Métricas de Evaluación:
    1. Similitud Coseno Promedio: Se calculó el promedio de las similitudes coseno entre el vector de "confianza" y todos los conceptos de cada modelo.
    2. Conteo de Conceptos por Encima del Umbral: Se contó cuántos conceptos de cada modelo superaron el umbral de 0.6 establecido en la Fase 1.

3. Contribuciones Clave

• Análisis de Caja Blanca en Confianza: Es uno de los primeros estudios que examina las patrones de activación interna de un LLM para entender la representación de constructos sociocognitivos complejos como la confianza.
• Marco de Evaluación Cuantitativa: Propone un método riguroso para comparar la estructura latente de un LLM con teorías psicológicas y sociológicas humanas, utilizando el prompting contrastivo y el análisis de similitud coseno.
• Validación de Modelos Teóricos: Determina empíricamente qué marco teórico humano se alinea mejor con la "mentalidad" interna de un LLM actual.

4. Resultados Principales

• Alineación Superior con el Modelo Castelfranchi: El modelo Castelfranchi (un modelo sociocognitivo que define la confianza como un estado mental basado en creencias sobre la competencia, la voluntad y la predictibilidad) mostró la mayor alineación.
  • Obtuvo el promedio más alto de similitud coseno (0.7303).
  • Tuvo el mayor número de conceptos por encima del umbral (8 conceptos): confianza, reputación, voluntad, competencia, compromiso, seguridad, fiabilidad y predictibilidad.
• Segundo Lugar: Modelo Marsh: El modelo computacional de Marsh mostró la segunda mejor alineación (promedio 0.6973, 7 conceptos por encima del umbral).
• Discrepancias Teóricas: Se observaron divergencias significativas en el Modelo Mayer. Conceptos que teóricamente deberían estar positivamente correlacionados con la confianza, como "riesgo" (risk1) y "benevolencia" (benevolence2), mostraron similitudes coseno negativas (-0.8462 y -0.1434 respectivamente). Esto indica que, internamente, el LLM no codifica el "riesgo" como un componente necesario para la confianza, sino que lo asocia con significados opuestos o no relevantes, a pesar de que los prompts intentaron enmarcarlo como vulnerabilidad positiva.

5. Significado e Implicaciones

• Comprensión de la Cognición Social en IA: Los resultados demuestran que los LLM codifican constructos sociocognitivos complejos en su espacio de activación de manera estructurada y cuantificable. La fuerte alineación con el modelo Castelfranchi sugiere que los LLM tienden a razonar sobre la confianza basándose en creencias cognitivas (competencia, voluntad) más que en métricas puramente estadísticas o de riesgo.
• Diseño de Sistemas de IA Confiables: La capacidad de identificar y manipular estos vectores latentes permite desarrollar mecanismos para "dirigir" el comportamiento de la IA. Por ejemplo, inyectar vectores derivados de modelos de confianza alineados podría fomentar respuestas más competentes, fiables y dispuestas a ayudar.
• Herramientas de Monitoreo: Este enfoque permite crear software capaz de monitorear los niveles de confianza entre entidades interactivas (ej. entrenador-atleta) y sugerir mejoras basadas en la desviación de los conceptos de confianza ideales.
• Limitaciones y Futuro: El estudio se limitó a un solo modelo (gpt-j-6B) y a representaciones estáticas. Futuras investigaciones deberán explorar modelos más grandes, dinámicas de conversación de múltiples turnos y la validación con datos de comportamiento humano real.

En conclusión, el trabajo establece que los LLM no solo simulan conversaciones sobre confianza, sino que poseen una representación interna estructurada que refleja profundamente ciertas teorías sociocognitivas humanas, abriendo nuevas vías para la interpretabilidad de la IA y la colaboración humano-IA.