Resumo Técnico: JE-IRT: Uma Lente Geométrica sobre as Habilidades de LLMs através da Teoria de Resposta ao Item com Incorporação Conjunta

Declaração do Problema

As práticas padrão de avaliação de Grandes Modelos de Linguagem (LLMs) tipicamente comprimem diversas capacidades em pontuações agregadas únicas ou classificações de liderança (leaderboards). Essa abordagem obscurece a natureza inerentemente multidimensional da competência dos LLMs. Embora métodos de perfilamento tentem agrupar benchmarks por categorias de assuntos definidas por humanos (ex: matemática, direito, biologia), essas categorias refletem currículos educacionais em vez das estruturas representacionais internas dos modelos, que são otimizados em corpora de domínios mistos sem fronteiras disciplinares explícitas.

Além disso, a Teoria de Resposta ao Item (IRT) tradicional, que modela a interação entre uma habilidade escalar do modelo e a dificuldade do item, falha em capturar o comportamento dos LLMs empiricamente. Dois padrões principais desafiam a visão escalar tradicional:

1. Falta de Ordenação Universal: Uma pontuação de habilidade escalar única não induz uma ordenação global consistente de modelos em todos os itens; modelos de maior habilidade não necessariamente superam modelos de menor habilidade em todas as questões.
2. Variação Suave: O comportamento do modelo varia suavemente através de itens semanticamente relacionados, sugerindo que a habilidade não é um ponto único, mas uma função de alinhamento direcional com o conteúdo semântico da questão.

Metodologia: Estrutura JE-IRT

Os autores propõem o JE-IRT (Teoria de Resposta ao Item com Incorporação Conjunta), uma estrutura geométrica que incorpora tanto os modelos quanto as questões em um espaço de alta dimensão compartilhado $\mathbb{R}^d$. Diferente da IRT tradicional, que trata os parâmetros do item como latentes agnósticos de conteúdo, o JE-IRT vincula a dificuldade e a discriminação diretamente à semântica da questão.

Formulação Geométrica

No JE-IRT, a probabilidade de uma resposta correta é determinada pela interação geométrica entre um embedding do modelo $E_{M_i}$ e um embedding da questão $E_{Q_j}$:
$$P(M_i, Q_j) = \sigma \left( \frac{E_{Q_j} \cdot E_{M_i}}{\|E_{Q_j}\|} - \|E_{Q_j}\| \right)$$

Interpretações geométricas fundamentais incluem:

• Direção ($E_{Q_j} / \|E_{Q_j}\|$): Codifica a especialização semântica ou o tópico da questão.
• Norma ($\|E_{Q_j}\|$): Codifica a dificuldade da questão. Uma norma maior corresponde a uma questão mais difícil.
• Habilidade Projetada: O termo $\frac{E_{Q_j} \cdot E_{M_i}}{\|E_{Q_j}\|}$ representa a projeção do embedding do modelo na direção da questão, medindo efetivamente quão bem as capacidades específicas do modelo se alinham com os requisitos semânticos da questão.

Arquitetura do Modelo e Treinamento

• Embeddings das Questões: Gerados via um processo de dois estágios: um codificador de texto pré-treinado e congelado (ex: ModernBERT-Large ou Sentence-Transformer) seguido por um adaptador treinável (um MLP de duas camadas). Isso garante que os embeddings sejam derivados do conteúdo, em vez de serem tratados como parâmetros livres.
• Embeddings dos Modelos: Aprendidos como vetores treináveis $E_{M_i}$ a partir de uma tabela de embeddings, derivados exclusivamente de padrões de resposta observados (corretude binária) através das questões.
• Otimização: O sistema é treinado de ponta a ponta minimizando a perda de entropia cruzada binária.

Propriedades Teóricas

A estrutura satisfaz duas propriedades críticas:

1. Não há Ordenação Global de Habilidade: A geometria suporta naturalmente especializações de habilidade onde nenhum modelo único domina todos os outros, permitindo o cruzamento de desempenho baseado no tópico.
2. Estabilidade: As probabilidades previstas mudam suavemente para questões semanticamente similares (pequena separação angular), limitadas pela diferença de norma e pelo desalinhamento angular.

Principais Contribuições

1. Refutação Empírica da Ordenação Escalar: Os autores demonstram que as suposições da IRT logística de 2 parâmetros (2PL) tradicionais falham nos dados de LLM. Os ajustes frequentemente resultam em parâmetros de discriminação negativos ou próximos de zero, e as curvas de característica do item são não-monótonas, provando que uma habilidade escalar única não pode explicar a corretude do LLM através de diversos benchmarks.
2. Estrutura JE-IRT: Introdução de uma formulação de IRT geométrica onde a orientação do embedding captura a semântica e a norma captura a dificuldade. Esta formulação supera os baselines (incluindo KNN e EmbedLLM) em precisão de previsão, utilizando dimensões de embedding significativamente menores.
3. Integração Escalável: A estrutura permite a integração eficiente de novos LLMs. Uma vez que os embeddings das questões são aprendidos, um novo modelo pode ser adicionado treinando apenas seu vetor de embedding único, exigindo tão pouco quanto 10% dos dados do modelo para atingir o desempenho próximo ao do treinamento conjunto.
4. Geometria Interpretável:
   • Dificuldade: As normas dos embeddings correlacionam-se confiavelmente com a dificuldade da questão (norma maior = menor precisão).
   • Taxonomia: O agrupamento (clustering) de embeddings de questões revela uma taxonomia centrada no LLM que se alinha apenas parcialmente com assuntos definidos por humanos (ex: categorias do MMLU), sugerindo que os modelos organizam o conhecimento por requisitos latentes de habilidade em vez de rótulos curriculares.
   • Habilidades Transversais de Assuntos: Sondas lineares (diferença de médias) podem recuperar direções de habilidade interpretáveis, como um "eixo aritmético", que identifica corretamente requisitos de raciocínio quantitativo em assuntos não matemáticos (ex: virologia, fatos globais) onde os embeddings semânticos brutos falham.

Resultados Experimentais

• Precisão de Previsão: O JE-IRT alcança acurácias de teste de ~75% no dataset EmbedLLM (112 modelos, 10 benchmarks), superando baselines como EmbedLLM (74,09%) e KNN (71,52%).
• Dimensionalidade: Alto desempenho é alcançado com embeddings de baixa dimensão (atingindo o pico em $d=256$), indicando que a estrutura preditiva é efetivamente de baixa dimensão.
• Generalização Fora da Distribuição (OOD): Experimentos de "deixar um fora" (leave-one-out) mostram que benchmarks com alto alinhamento direcional com o pool de treinamento (ex: LogiQA, MathQA) sofrem quedas menores de desempenho. Benchmarks com baixo alinhamento (ex: PIQA) mostram quedas maiores, validando o alinhamento direcional como um diagnóstico para generalização.
• Roteamento: Em uma tarefa de roteamento agnóstica a custos, o JE-IRT melhora a precisão de seleção em cerca de 10 pontos percentuais sobre um baseline de "melhor média" e supera um baseline de "melhor por benchmark", demonstrando a utilidade da geometria aprendida para aplicações de uso posterior (downstream).

Significância e Alegações

O artigo posiciona o JE-IRT como uma lente geométrica unificada e interpretável para conectar as habilidades dos LLMs com a estrutura das questões. Sua principal significância reside em:

• Ir Além de Agregados: Oferece uma perspectiva distinta para a avaliação de modelos, afastando-se de classificações de número único em direção a uma visão multidimensional de especialização e dificuldade.
• Compreensão Mecanística: A geometria aprendida fornece uma representação compacta de como as capacidades são transferidas entre tarefas, revelando que os modelos organizam o conhecimento de acordo com suas próprias estruturas representacionais, em vez de assuntos definidos por humanos.
• Utilidade Prática: A estrutura suporta tarefas práticas, como o roteamento de consultas para o modelo mais capaz e a generalização para novos modelos com dados mínimos, abordando o ritmo acelerado de lançamentos de LLMs.

Os autores concluem que o JE-IRT estabelece uma base para o desenvolvimento de contas mais mecanísticas da generalização de LLMs, embora notem limitações quanto a rótulos binários e a necessidade de trabalhos futuros sobre pontuações graduais e sinais de avaliação multiobjetivo.