🤖 machine learning

Human Preference aligned Tabular Similarity

Este artigo argumenta que os atuais métodos de incorporação tabular, otimizados para tarefas de predição, falham em se alinhar com as preferências humanas para busca de similaridade, e propõe um novo procedimento de avaliação para abordar essa lacuna utilizando um caso de uso de Gestão do Ciclo de Vida do Produto (PLM).

Autores originais: Frederik Hoppe, Astrid Franz, Marianne Michaelis, Lars Kleinemeier, Udo Göbel

Publicado 2026-07-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Frederik Hoppe, Astrid Franz, Marianne Michaelis, Lars Kleinemeier, Udo Göbel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está caminhando por uma biblioteca mágica e imensa, onde cada livro é, na verdade, uma planilha de números e palavras. Nesta biblioteca, existem robôs cujo trabalho é encontrar livros que sejam "semelhantes" ao que você está segurando. Se você pegar um livro sobre "como consertar uma torradeira quebrada", o robô deve lhe entregar outros livros sobre reparos de torradeiras, e não livros sobre assar bolos ou dirigir carros. Este é o mundo dos dados tabulares — as grades organizadas de informações que regem nossos negócios, hospitais e fábricas. Os robôs usam algo chamado embeddings, que são como códigos magnéticos invisíveis que transformam cada linha de dados em um ponto em um espaço gigante e multidimensional. Quanto mais próximos dois pontos estão, mais semelhante o robô considera que os dados são.

Por muito tempo, cientistas têm ensinado esses robôs a ficarem muito bons em adivinhar a resposta para uma pergunta específica, como "Esta peça vai quebrar?" ou "Qual é o preço?". Mas aqui está o detalhe: ser bom em adivinhar uma resposta nem sempre significa ser bom em encontrar coisas que pareçam semelhantes para um ser humano. Um robô pode pensar que duas peças são gêmeas porque ambas possuem o número "5" nelas, embora um engenheiro humano saiba que uma é um parafuso e a outra é um prego. Este artigo faz uma pergunta muito importante: Como garantimos que esses robôs estejam encontrando coisas que realmente façam sentido para as diferentes pessoas que os utilizam, como engenheiros, operários de fábrica ou compradores?

O Problema: Quando os Robôs Erram a "Vibe"

Os autores deste artigo, trabalhando com uma empresa que constrói softwares para gestão do ciclo de vida de produtos, notaram um grande abismo. Eles viram que, embora os robôs estejam ficando mais inteligentes ao transformar tabelas de dados nesses códigos magnéticos invisíveis, não temos uma boa maneira de verificar se esses códigos correspondem ao que os humanos realmente valorizam.

Imagine que você peça a um robô para encontrar "solicitações de alteração" semelhantes para uma nova peça de carro. Um engenheiro pode dizer: "Estas são semelhantes porque ambas lidam com o sistema de resfriamento do motor". Um operário de fábrica pode dizer: "Não, estas são semelhantes porque ambas exigem a mesma máquina de soldagem". Um comprador pode dizer: "Estas são semelhantes porque vêm do mesmo fornecedor".

O artigo argumenta que as formas atuais de testar esses robôs são como avaliar um aluno apenas pelas suas notas em matemática, mesmo que o aluno esteja tentando se tornar um poeta. Os testes padrão medem se o robô consegue prever um número ou uma categoria corretamente, mas não perguntam: "O usuário humano achou o resultado útil?". Os autores sugerem que, sem perguntar aos humanos o que eles pensam, estamos voando às cegas. Podemos ter um robô que é tecnicamente perfeito em matemática, mas terrível em entender as necessidades humanas.

A Solução: Um "Teste de Sabor" para Dados

Para corrigir isso, os autores propõem um novo fluxo de trabalho que soa um pouco como um teste cego de sabor para alimentos, mas para dados. Em vez de apenas rodar o robô e esperar pelo melhor, eles sugerem um processo de três etapas para obter o feedback humano:

A Configuração: Primeiro, o robô cria seus códigos magnéticos para todos os dados e os armazena.
A Escolha: Um usuário humano é mostrado um item específico (a "âncora"), como uma peça ou um ticket específico. O robô então busca uma lista de itens que ele considera serem as correspondências mais próximas.
O Voto: O humano olha para o item original e uma das sugestões do robô lado a lado. Ele então dá uma classificação: "Idêntico", "Semelhante", "Ligeiramente Semelhante" ou "Não Semelhante".

Isso não é algo de uma única vez. Os autores sugerem fazer isso repetidamente, coletando milhares desses "votos". Isso cria um mapa do que diferentes grupos de pessoas realmente consideram semelhante.

O Que Eles Descobriram: Cada Um Vê o Mundo de Diferente

Para testar sua ideia, a equipe realizou um pequeno estudo piloto. Eles pegaram uma lista de 20 "tickets" diferentes (como solicitações de ajuda ou alterações) e pediram a três pessoas diferentes que avaliassem as 6 melhores correspondências que o robô encontrou para cada um.

Os resultados foram reveladores. De 120 pares de itens analisados, as três pessoas concordaram com a classificação de apenas 63 pares (o que é 52,5%). Em 52 pares (43,3%), duas pessoas concordaram, mas a terceira discordou. E em 5 pares (4,2%), todas as três deram classificações diferentes!

Isso prova que a "semelhança" não é um fato único e fixo. Ela depende inteiramente de quem você é. Um engenheiro pode ver um padrão que um comprador não percebe, e vice-versa.

A equipe então testou 10 algoritmos de robô diferentes para ver qual era o melhor em adivinhar o que esses humanos queriam. Aqui está a reviravolta: Não houve um único "vencedor".

Para o Avaliador 1 e o Avaliador 3, o Algoritmo 7 foi o melhor.
Mas para o Avaliador 2, o Algoritmo 4 foi o melhor.

Ainda mais interessante, a diferença entre o "melhor" e o "segundo melhor" para o Avaliador 2 foi mínima — apenas um único trio (um grupo de três itens) de 165. Isso sugere que, com um número tão pequeno de votos, é difícil ter 100% de certeza de qual robô é realmente melhor. Os autores apontam que precisamos de mais dados para ter confiança, mas a principal lição é clara: Um tamanho não serve para todos. Um robô que é perfeito para um engenheiro pode ser inútil para um comprador.

Por Que Isso Importa para a Confiança

O artigo conclui que, para a IA ser verdadeiramente confiável, não podemos apenas confiar na matemática interna do robô. Precisamos construir um sistema onde os humanos possam constantemente verificar o trabalho do robô.

Eles destacam quatro benefícios principais desta abordagem:

Justiça: Garante que o robô trate diferentes grupos de pessoas (como engenheiros vs. compradores) de forma justa, em vez de favorecer uma perspectiva.
Transparência: Permite que as pessoas vejam por que o robô escolheu determinado item, tornando a "caixa preta" um pouco menos escura.
Robustez: Ajuda a encontrar dados desorganizados, como duplicatas ou categorias confusas, que o robô possa estar interpretando errado.
Responsabilidade: Cria um rastro de papel das decisões humanas, o que é crucial se a IA cometer um erro em uma indústria regulamentada.

Os autores admitem que pedir aos humanos para fazerem isso é um trabalho árduo e leva tempo. Eles não afirmam ter resolvido o problema perfeitamente ainda. Em vez disso, eles estão convocando a comunidade científica para começar a usar esses "testes de sabor humanos" como uma parte padrão da construção de IA. Eles argumentam que a confiança não é algo que se coloca no código uma única vez; é algo que se constrói ouvindo constantemente as pessoas que utilizam o sistema.

Resumo Técnico: Alinhamento de Preferência Humana para Similaridade Tabular

Definição do Problema

Embora os embeddings tabulares agnósticos à tarefa sejam cada vez mais utilizados para busca de similaridade em sistemas industriais como o Gerenciamento do Ciclo de Vida do Produto (PLM), existe uma lacuna crítica em sua avaliação. As abordagens de embedding líderes atuais são otimizadas para tarefas de predição (classificação, regressão) em vez de produzir rankings de similaridade que se alinhem com a preferência humana. Métricas padrão de tarefas downstream (ex: acurácia, F1-score) são insuficientes para avaliar a confiabilidade na busca de similaridade porque falham em capturar a "similaridade percebida pelo humano".

Em contextos industriais, a similaridade é altamente subjetiva e dependente do usuário. Por exemplo, em um sistema PLM, um engenheiro pode definir a similaridade com base em propriedades geométricas, um trabalhador de produção por processos de manufatura e um comprador por origem do fornecedor. Consequentemente, um modelo de embedding que apresenta bom desempenho em benchmarks de classificação objetiva pode recuperar vizinhos próximos que são estruturalmente similares, mas semanticamente sem sentido para especialistas de domínio específicos. Além disso, métricas existentes de Recuperação de Informação (IR) (ex: MRR, NDCG) e abordagens de Aprendizado por Reforço com Feedback Humano (RLHF) não abordam adequadamente a heterogeneidade dos dados tabulares ou as preferências diversas e, muitas vezes, conflitantes de diferentes grupos de usuários.

Metodologia

Os autores propõem um fluxo de trabalho de avaliação concreto projetado para capturar o alinhamento de preferência humana para similaridade tabular. Este fluxo consiste em três etapas principais:

Ingestão: Registros tabulares são transformados em embeddings usando um modelo pré-selecionado e indexados em um banco de dados vetorial. Detalhes de configuração, incluindo o modelo de embedding e a função de distância (ex: distância de cosseno), são armazenados como metadados.
Seleção de Âncora: Um registro âncora é selecionado do conjunto de dados. As estratégias de seleção incluem amostragem aleatória (potencialmente guiada por incerteza ou amostragem de diversidade), filtragem baseada em atributos, recuperação híbrida ou seleção direta pelo usuário baseada em criticidade de negócio. O sistema recupera os vizinhos mais próximos para esta âncora com base na função de distância predefinida.
Avaliação do Usuário: A âncora e um registro vizinho são exibidos lado a lado. Os usuários atribuem um rótulo de similaridade par (ex: "idêntico", "similar", "ligeiramente similar", "não similar"). Esses rótulos são armazenados junto com metadados anônimos de usuário e sessão. Para garantir a qualidade dos dados, métricas de concordância entre anotadores (ex: $\kappa$ de Cohen) são monitoradas, e divergências são sinalizadas para análise.

Os autores observam que, embora a busca de Vizinhos Mais Próximos Aproximados (ANN) seja frequentemente usada para escalabilidade, a busca de vizinhos mais próximos exatos ou hiperparâmetros de ANN ajustados devem ser considerados durante a anotação para minimizar o ruído de recuperação.

Principais Contribuições

Identificação da Lacuna de Avaliação: O artigo argumenta que métricas de tarefas downstream objetivas são inadequadas para avaliar a confiabilidade de embeddings tabulares em busca de similaridade, destacando especificamente a falta de alinhamento com a preferência humana.
Fluxo de Trabalho de Avaliação Proposto: É introduzido um procedimento estruturado de três etapas para a coleta de rankings de preferência humana. Este fluxo facilita o aprendizado ativo e permite a avaliação quantitativa automatizada de algoritmos de embedding com base na relevância específica do usuário.
Especificidade de Grupo de Usuário: O framework suporta explicitamente a geração de rankings específicos para grupos de usuários. Ele reconhece que uma configuração de embedding ideal para um grupo (ex: engenheiros) pode diferir de outro (ex: compradores), desafiando a noção de um único "melhor" modelo global.
Integração com IA Confiável: Os autores mapeiam seu fluxo de trabalho proposto para quatro pilares da IA Confiável:
- Equidade (Fairness): Permitindo o tratamento equitativo de diferentes grupos de usuários.
- Transparência: Tornando as estruturas de vizinhança e a lógica de recuperação visíveis aos usuários.
- Robustez: Usando rótulos de similaridade para identificar problemas de qualidade de dados (duplicatas, inconsistências).
- Responsabilidade (Accountability): Fornecendo registros persistentes para governança e garantia de qualidade.

Resultados: Estudo Piloto

Os autores conduziram um estudo piloto usando um conjunto de dados de tickets de PLM contendo várias categorias (TI, segurança, permissão).

Configuração: Três anotadores avaliaram os 6 vizinhos mais próximos para 20 tickets âncora usando uma escala de 4 pontos, gerando 120 pares de tickets com três anotações cada.
Divergência: Observou-se uma discordância significativa. Apenas 52,5% dos pares receberam classificações idênticas entre os três anotadores, enquanto 43,3% foram classificados em duas categorias diferentes e 4,2% em três. Isso sugere que a discordância frequentemente reflete diferenças legítimas de perspectiva, baseadas no domínio, em vez de ruído aleatório.
Avaliação de Algoritmo: O estudo avaliou 10 algoritmos de embedding usando acurácia de triplete (medindo se a distância para um item "mais similar" é menor do que para um "menos similar").
- Variância de Desempenho: O Algoritmo 7 teve o melhor desempenho para os Anotadores 1 e 3, enquanto o Algoritmo 4 foi superior para o Anotador 2.
- Sensibilidade Estatística: A diferença de desempenho entre os principais algoritmos para o Anotador 2 (Algoritmos 4 e 7) foi marginal (uma diferença de um único triplete). Isso destaca a necessidade de volume de anotação suficiente para alcançar confiança estatística na identificação de preferências específicas de grupo.

Significância e Alegações

O artigo posiciona-se como um chamado à ação para a comunidade adotar padrões de avaliação mais amplos alinhados aos princípios de IA Confiável. Os autores não alegam ter resolvido o problema da similaridade tabular, mas sim delineiam a necessidade de validação centrada no humano.

Confiabilidade Emergente: O artigo argumenta que a confiabilidade de sistemas de IA não é uma propriedade intrínseca do modelo de embedding em si, mas uma propriedade emergente de processos sociotécnicos robustos. Esses processos devem continuamente inspecionar, desafiar e documentar o comportamento do modelo.
Integração ao Ciclo de Vida: A validação de embedding específica por grupo de usuário deve ser integrada como um componente fundamental do ciclo de vida da IA e dos frameworks de gestão de risco.
Direções Futuras: Os autores identificam quatro questões críticas para a comunidade abordar:
1. Quanta anotação é suficiente para representar variadas perspectivas de usuários?
2. Como devem ser tratadas as discordâncias legítimas entre anotadores (decorrentes de diferentes grupos de usuários)?
3. Como o viés nos vizinhos de embedding pode ser detectado e mitigado através de diferentes grupos de usuários?
4. Como os resultados de ranking de preferência podem ser retroalimentados para a melhoria do sistema para acomodar necessidades diversas?

O trabalho enfatiza que, embora intensivo em recursos, o alinhamento da preferência humana é necessário para garantir que os sistemas de busca de similaridade funcionem de forma equitativa e satisfaçam os diversos critérios de relevância de diferentes partes interessadas em aplicações industriais.