Evaluating LLM Alignment With Human Trust Models

Este trabalho apresenta uma análise de caixa branca do modelo EleutherAI/gpt-j-6B que demonstra, por meio de comparação de similaridade de cosseno no espaço de ativação, que suas representações internas de confiança alinham-se mais fortemente com o modelo socio-cognitivo de Castelfranchi do que com outras teorias humanas estabelecidas.

O essencial

Imagine que você tem um robô superinteligente (um Modelo de Linguagem ou LLM) que conversa conosco como se fosse humano. A grande pergunta deste estudo é: quando esse robô pensa em "confiança", o que está acontecendo dentro da sua "cabeça" digital? Será que ele entende confiança da mesma forma que nós, humanos?

Os autores deste artigo decidiram investigar isso de uma maneira muito curiosa: em vez de apenas perguntar ao robô "o que é confiança?" e ler a resposta (o que seria como olhar apenas a capa de um livro), eles abriram o livro e olharam para as páginas internas. Eles usaram uma técnica chamada "análise de caixa branca", que significa olhar diretamente para os circuitos e memórias do robô enquanto ele pensa.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Grande Desafio: Como o Robô "Sente" a Confiança?

A confiança é como o cola que mantém as relações humanas e os sistemas de trabalho juntos. Nós temos várias teorias sobre como a confiança funciona (alguns dizem que é baseada em competência, outros em emoção, outros em regras). Mas ninguém sabia exatamente como um robô "guardava" esse conceito na sua memória digital.

2. A Ferramenta Mágica: "Contraste" e Vetores

Para entender o que o robô estava pensando, os pesquisadores usaram uma técnica chamada Prompting Contrastivo.

• A Analogia: Imagine que você quer saber a cor exata do "azul" na mente de um pintor. Você não pede apenas para ele pintar o céu. Você pede para ele pintar um céu azul e, logo em seguida, um céu cinza (ou vermelho). Depois, você olha a diferença entre as duas pinturas.
• No Robô: Eles pediram ao robô para criar histórias onde a confiança existe (ex: "Alice ajuda Katherine") e histórias onde ela não existe (ex: "Alice ignora Katherine"). Ao comparar as "assinaturas digitais" (vetores) dessas duas histórias, eles conseguiram isolar exatamente onde a ideia de "confiança" estava armazenada no cérebro do robô.

3. O Mapa do Tesouro: 60 Emoções e Conceitos

Eles criaram um mapa mental gigante. Pegaram 30 conceitos (como "felicidade", "raiva", "competência", "risco") e os transformaram em duas direções (ex: "A confia em B" e "B confia em A"). Isso gerou 60 pontos diferentes no espaço digital do robô.

• O Teste de Distância: Eles mediram a "distância" entre esses pontos. Se dois conceitos estão muito próximos no mapa do robô, significa que ele os vê como muito parecidos. Se estão longe, ele os vê como opostos.
• O Limite: Eles descobriram que, para considerar dois conceitos "amigos íntimos" na mente do robô, eles precisam estar a uma certa distância (um limiar de similaridade).

4. A Confrontação: Qual Teoria Humana o Robô Segue?

Os pesquisadores pegaram 5 teorias famosas de confiança criadas por humanos (os modelos de Marsh, Mayer, McAllister, McKnight e Castelfranchi). Cada teoria diz que a confiança é feita de peças diferentes (como "competência", "honestidade", "risco", "vontade").

• A Pergunta: Quando o robô pensa em "Confiança", ele também pensa nessas peças específicas?
• O Resultado: Eles mediram a distância entre o conceito de "Confiança" do robô e as peças de cada teoria humana.

5. O Veredito Final: Quem Ganhou?

O estudo revelou algo fascinante:

• O Vencedor: A mente do robô se parece mais com a teoria do Castelfranchi. Essa teoria vê a confiança como uma mistura complexa de crenças, objetivos e previsibilidade (como um plano mental). O robô entende a confiança dessa forma "sociocognitiva".
• O Vice-Campeão: O modelo de Marsh ficou em segundo lugar.
• O Estranho: O modelo de Mayer (que é muito famoso em empresas) teve uma surpresa. Segundo essa teoria, "Risco" é algo positivo para a confiança (você só confia se estiver disposto a se arriscar). Mas, na mente do robô, "Confiança" e "Risco" estavam longe um do outro, quase como inimigos! O robô ainda não entende que se arriscar faz parte de confiar.

Por que isso importa? (A Conclusão Simples)

Este estudo é como um raio-x da consciência de uma IA. Ele nos mostra que:

1. Robôs têm "conceitos": Eles não apenas falam sobre confiança; eles têm uma estrutura interna organizada para ela.
2. Podemos "consertar" robôs: Se sabemos exatamente onde a confiança está na memória do robô, podemos injetar "pensamentos" de confiança nele para fazê-lo agir de forma mais confiável em conversas com humanos.
3. Ainda há trabalho a fazer: Como o robô não entende a relação entre "risco" e "confiança" como os humanos, precisamos ensinar isso a ele para que ele seja um parceiro de trabalho mais natural.

Em resumo: Os pesquisadores abriram a "caixa preta" do robô, mapearam seus pensamentos e descobriram que ele entende a confiança de uma forma muito parecida com a teoria do Castelfranchi, mas ainda precisa aprender algumas lições sobre o lado arriscado de confiar em alguém.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Evaluating LLM Alignment With Human Trust Models", apresentado em português:

Título: Avaliação do Alinhamento de LLMs com Modelos Humanos de Confiança

Autores: Anushka Debnath, Stephen Cranefield, Bastin Tony Roy Savarimuthu (Universidade de Otago, Nova Zelândia) e Emiliano Lorini (Universidade de Toulouse, França).

---

1. Problema e Motivação

A confiança é fundamental para a cooperação eficaz e a redução da incerteza em sistemas multiagente e interações humano-AI. Embora existam diversos modelos teóricos de confiança na psicologia, sociologia e ciência cognitiva (como os modelos de Marsh, Mayer, McAllister, McKnight e Castelfranchi), há uma lacuna significativa no entendimento de como os Grandes Modelos de Linguagem (LLMs) conceitualizam e raciocinam sobre a confiança em sua arquitetura interna.

A maioria das pesquisas anteriores adota uma abordagem de "caixa preta", focando apenas nas entradas e saídas dos modelos. Este trabalho busca preencher essa lacuna através de uma análise de "caixa branca", investigando como os conceitos de confiança e atributos relacionados são representados no espaço de ativação (embeddings latentes) de um LLM.

2. Metodologia

O estudo utiliza o modelo de linguagem aberto EleutherAI/gpt-j-6B, escolhido por permitir acesso irrestrito às ativações camada por camada. A metodologia divide-se em duas fases principais:

A. Geração de Vetores de Conceitos (Prompting Contrastivo)

• Abordagem: Inspirada em "vetores de persona", os autores utilizam prompting contrastivo para isolar direções lineares no espaço de ativação que representam conceitos específicos.
• Processo:
  1. Para cada conceito (ex: "confiança", "competência", "risco"), geram-se histórias positivas e negativas (100 de cada) descrevendo relações diádicas direcionadas (ex: "Katherine confia em Alice" vs. "Katherine não confia em Alice").
  2. As ativações ocultas (embeddings) são extraídas de todas as 28 camadas do modelo para essas histórias.
  3. Calcula-se a média das ativações para os casos positivos e negativos separadamente.
  4. O vetor de conceito é obtido pela diferença entre as médias das ativações positivas e negativas, capturando a distinção semântica interna do modelo.
• Escopo: Foram analisados 30 conceitos (positivos e negativos), expandindo-se para 60 vetores devido à direcionalidade das relações (A→B e B→A).

B. Definição de Limiar de Similaridade

• Calculou-se a similaridade de cosseno entre todos os pares dos 60 vetores de conceitos gerais (emoções e traços).
• A distribuição dessas similaridades foi plotada em um histograma.
• Um limiar de similaridade foi estabelecido empiricamente no percentil 80 (valor de corte de 0.6), definindo o que constitui um alinhamento conceitual "significativo" dentro do modelo.

C. Avaliação de Alinhamento com Modelos Teóricos

• Foram selecionados cinco modelos de confiança estabelecidos: Marsh, Mayer, McAllister, McKnight e Castelfranchi.
• Para cada modelo, identificaram-se os conceitos-chave associados à confiança (ex: competência, benevolência, integridade).
• Calculou-se a similaridade de cosseno entre o vetor de "Confiança" (Trust1) e os vetores dos conceitos associados a cada modelo.
• Métricas de Avaliação:
  1. Média de Similaridade: A média aritmética das similaridades de cosseno de todos os conceitos de um modelo específico.
  2. Contagem Acima do Limiar: O número de pares (conceito-confiança) que excedem o limiar de 0.6.

3. Principais Resultados

• Estrutura Latente: O espaço latente do LLM separa efetivamente conceitos opostos e agrupa conceitos relacionados, validando a eficácia do método de vetores contrastivos.
• Alinhamento Superior: O modelo Castelfranchi (modelo sócio-cognitivo) apresentou o maior alinhamento com a representação interna de confiança do LLM.
  • Média de Similaridade: 0.7303 (a mais alta entre todos).
  • Conceitos Acima do Limiar: 8 conceitos (o maior número).
• Segundo Melhor Alinhamento: O modelo Marsh (computacional) ficou em segundo lugar, com uma média de 0.6973 e 7 conceitos acima do limiar.
• Desvios Teóricos: O modelo Mayer apresentou uma média menor (0.4530) e, crucialmente, mostrou similaridades negativas para conceitos teoricamente positivos:
  • Risco (Risk1): No modelo Mayer, a confiança requer vulnerabilidade (risco). No entanto, o LLM associou "risco" negativamente à confiança (similaridade de -0.8462), indicando que, internamente, o modelo vê risco como algo oposto à confiança, ignorando a nuance teórica de vulnerabilidade.
  • Benevolência (Benevolence2): Também apresentou similaridade negativa (-0.1434), sugerindo que o LLM não codifica a benevolência da mesma forma que os modelos humanos a definem em relação à confiança.

4. Contribuições Chave

1. Análise de Caixa Branca: Primeira abordagem sistemática para examinar os padrões de ativação interna que sustentam o raciocínio sobre confiança em LLMs, movendo-se além da análise de entrada/saída.
2. Framework de Avaliação: Proposição de um método robusto usando prompting contrastivo e análise de vetores de diferença para mapear conceitos socio-cognitivos no espaço latente.
3. Validação de Modelos Teóricos: Identificação quantitativa de qual modelo teórico humano (Castelfranchi) melhor reflete a "mentalidade" computacional do LLM sobre confiança.
4. Descoberta de Discrepâncias: Revelação de que LLMs podem não codificar certas associações teóricas complexas (como a relação positiva entre risco e confiança) da mesma forma que os humanos, mesmo quando instruídos via prompt.

5. Significado e Implicações

• Sistemas de IA Conscientes de Confiança: Os resultados sugerem que é possível "nortear" (steer) o comportamento de um LLM injetando vetores de conceitos de confiança derivados de modelos teóricos específicos (como o de Castelfranchi) nas ativações do modelo, promovendo comportamentos mais confiáveis e contextualmente apropriados.
• Interpretabilidade e Cognição Social: Demonstra que LLMs codificam construtos socio-cognitivos complexos de forma estruturada, permitindo análises comparativas e o desenvolvimento de teorias sobre cognição social em máquinas.
• Aplicações Práticas: Possibilidade de criar softwares que monitorem níveis de confiança entre entidades (ex: treinador-atleta) e sugiram intervenções para melhorar a relação, baseando-se na estrutura latente do modelo.
• Limitações e Futuro: O estudo focou em um único modelo (gpt-j-6B) e em representações estáticas. Trabalhos futuros devem expandir para outros modelos e investigar a evolução dinâmica da confiança em interações conversacionais multi-turno.

Em suma, o artigo demonstra que os LLMs possuem uma representação interna estruturada de confiança que se alinha mais fortemente com modelos sócio-cognitivos (Castelfranchi) do que com modelos puramente computacionais ou organizacionais, oferecendo novas vias para o design de sistemas colaborativos humano-AI.