The Pragmatic Persona: Discovering LLM Persona through Bridging Inference

1. Declaração do Problema

As abordagens atuais para descobrir as personas latentes de Modelos de Linguagem de Grande Escala (LLMs) dependem fortemente de pistas lexicais ou estilísticas de superfície (por exemplo, frequência de palavras, tom ou rótulos explícitos de prompt). Esses métodos tratam o diálogo como uma sequência plana de tokens, falhando em capturar as estruturas nível de discurso mais profundas que sustentam a consistência da persona.

• Limitação: A análise de superfície não pode explicar como os LLMs mantêm a coerência semântica ou por que traços específicos emergem. Ela ignora as ligações conceituais implícitas (pontes) que os humanos usam para conectar ideias por meio de conhecimento de fundo.
• Objetivo: Ir além da correspondência de palavras-chave e desenvolver um quadro que interprete o diálogo de LLMs através da inferência de ponte — o processo cognitivo de ligar enunciados por meio de relações semânticas implícitas para revelar os padrões de raciocínio subjacentes do modelo e sua persona latente.

2. Metodologia: O Quadro PD-Agent

Os autores propõem o Agente de Descoberta de Persona (PD-Agent), um quadro cognitivo que operacionaliza a Inferência de Ponte (baseada na taxonomia de Irmer e na Teoria de Representação de Discurso Segmentada) para extrair traços de persona.

A. Conceito Central: Inferência de Ponte

A inferência de ponte conecta uma entidade recém-introduzida (a "ponte") a um evento ou entidade mencionado anteriormente (a "âncora") usando conhecimento implícito do mundo. O quadro utiliza sete tipos de relação canônicos:

1. Mereológicas: Parte de, Membro de (dependências estruturais).
2. Relacionadas a Quadros: Instrumento, Tema, Causa de, Em, Temporal (papéis dinâmicos dentro de um quadro de evento).

B. Arquitetura do Sistema

O quadro opera como um pipeline interativo envolvendo dois agentes:

1. LLM Alvo: Condicionado com uma persona oculta (papel social, personalidade, histórico, interesses) para gerar diálogo.
2. PD-Agent (Agente de Raciocínio): Um meta-agente que conduz a entrevista, extrai relações e infere a persona.

C. Pipeline de Execução

O processo segue quatro fases distintas (detalhadas no Algoritmo 1):

1. Atribuição de Persona: Uma persona oculta é amostrada de um esquema de 4 dimensões e atribuída ao LLM Alvo.
2. Entrevista Interativa: O PD-Agent envolve o LLM Alvo em 3 a 5 turnos de diálogo aberto para elicitar pistas reveladoras de persona sem autodeclaração direta.
3. Extração de Inferência de Ponte: O PD-Agent analisa o diálogo para identificar pares implícitos de âncora-anáfora. Ele usa aprendizado com poucos exemplos (few-shot learning) para classificar conexões nos sete tipos de relação de ponte (por exemplo, ligar "faca" a "assassinato" como uma relação de instrumento).
4. Construção e Raciocínio de Grafo Semântico:
   • O diálogo é transformado em um grafo semântico direcionado $G = (V, E)$, onde os nós são conceitos e as arestas são relações de ponte rotuladas.
   • Análise de Centralidade: A importância dos conceitos é calculada usando centralidade de grau normalizada: $Importância(v_i) = \frac{deg(v_i)}{\max deg(v_j)}$.
   • Inferência: O PD-Agent analisa a distribuição dos tipos de relação e os hubs centrais para prever os atributos de persona latente nas quatro dimensões do esquema.

3. Contribuições Principais

1. Quadro Cognitivo: Propõe o primeiro quadro para análise de persona de LLM fundamentado na Teoria Cognitiva do Discurso, deslocando-se da frequência lexical para o raciocínio estrutural via inferência de ponte.
2. Taxonomia Operacionalizada: Implementa os sete tipos de relação de ponte de Irmer como exemplos de poucos exemplos para raciocínio de LLM, permitindo a extração de ligações conceituais implícitas.
3. Representação Baseada em Grafos: Introduz um método para visualizar e quantificar traços de persona através da organização estrutural do discurso (grafos de conhecimento) em vez de padrões lexicais isolados.
4. Avaliação Sistemática: Fornece uma avaliação robusta em diversas escalas de modelo (de 1,7B a 80B parâmetros) e espinhas dorsais de raciocínio.

4. Resultados Experimentais

O estudo avaliou o PD-Agent contra linhas de base Vanilla (previsão direta) e Consciente de Frequência (frequência de tokens) usando seis espinhas dorsais de raciocínio (incluindo GPT-4o, o1-mini, Claude 3.5 e DeepSeek-V3) e vários LLMs alvo.

• Desempenho: O PD-Agent consistentemente superou as linhas de base em todas as escalas de modelo.
  • Pontuações de Similaridade: Alcançou pontuações de similaridade cosseno entre 0,90 e 0,98 com personas de verdade.
  • Melhoria: Mostrou ganhos significativos sobre heurísticas baseadas em frequência (até +0,15 de melhoria).
  • Melhor Desempenho: A espinha dorsal o1-mini (otimizada para raciocínio lógico) alcançou a maior precisão (0,99 de similaridade em alvos grandes), indicando que capacidades complexas de inferência são cruciais para a ponte.
• Escalabilidade: O desempenho aumentou com o tamanho do LLM Alvo. Modelos maiores (30B–80B) geraram maior densidade semântica e grafos de ponte mais complexos, que o PD-Agent aproveitou para uma inferência mais precisa.
• Estabilidade: O quadro demonstrou alta estabilidade com um desvio padrão de < 0,03 em múltiplas execuções.
• Análise de Erros: O principal modo de falha ocorreu na categoria Histórico (por exemplo, confundir "viver sozinho" com "viver no exterior" devido a pistas ambíguas), sugerindo que, embora o raciocínio estrutural seja robusto, a inferência factual específica permanece desafiadora.

5. Significado e Conclusão

• Impacto Teórico: Este trabalho preenche a lacuna entre linguística computacional e semântica cognitiva, demonstrando que as personas de LLMs são codificadas na coerência estrutural do discurso, e não em escolhas de palavras isoladas.
• Aplicação Prática: Oferece uma ferramenta de diagnóstico para entender o comportamento, a segurança e a alinhamento do modelo, revelando preferências latentes que a análise de superfície ignora.
• Direções Futuras: Os autores sugerem estender o quadro para contextos multilíngues e multimodais para explorar como valores culturais e pistas perceptivas moldam a expressão da persona.

Em resumo, o artigo estabelece que a inferência de ponte é um mecanismo superior para a descoberta de personas, provando que a "personalidade" de um LLM é melhor compreendida analisando como ele conecta logicamente conceitos ao longo de uma conversa, em vez de quais palavras ele simplesmente repete.